暂无菜单项

Mistral也来抢机器人赛道:一个普通摄像头,让机器人在办公室里自己认路

发布于
2

法国AI公司Mistral,大家更熟悉的是它那些开源大语言模型。但7月8日它悄悄把触角伸到了”物理世界”。新发布的Robostral Navigate是Mistral第一款面向机器人导航的模型,参数只有80亿,却干了件挺反直觉的事:让机器人只靠一个最普通的RGB摄像头,就能在复杂空间里自己走路、认路,不用激光雷达,也不用深度传感器。

传统方案要让机器人不撞墙,往往得堆传感器——LiDAR、深度相机、好几路摄像头一起上。Robostral Navigate偏要做减法。它接收摄像头画面和一句大白话指令,比如”走出大堂,穿过走廊,进储物间,停在第二个货架正前方”,就自己驱动机器人走完整个流程,连训练时从没见过的人和障碍物都能现场避让。

Mistral Robostral Navigate 单摄像头机器人导航
仅凭一颗摄像头,Robostral Navigate 让机器人在办公空间自主导航(配图由AI生成)

在R2R-CE这个导航基准上,它在没见过的环境里成功率76.6%,见过的有79.4%。更扎眼的是,它比此前最好的单摄像头方案高出9.7个百分点,甚至比用着深度或多摄像头的系统还高出4.5个百分点——”一只眼”反而赢了”多只眼”。

怎么做到的:先学会”指路”,再学会”走路”

核心是一套基于”指向”的导航机制。模型看着当前画面和历史指令,预测机器人下一步该往画面里的哪个坐标走、到了之后该朝向哪边。比起直接给”往前两米、左转25度”这种精确位移指令,这种”指路”的方式天然不挑相机参数、也不挑空间尺度,同一个模型能装在轮式的、腿式的甚至飞行的机器人上。

训练上Mistral也走了一条省钱的路。整个模型完全在模拟环境里训出来,用6000个虚拟场景攒了大约40万条轨迹。再配上前缀缓存(prefix-caching)的训练算法,把整段任务压成一条序列一次训完,训练token量砍到原来的1/22,原本要几个月的活儿压缩到几天。最后再上一轮在线强化学习(CISPO),成功率又多榨出3.2个百分点。

为什么这件事值得盯

对Mistral来说,这只是通向”统一具身智能体”的第一步,但它戳中的是机器人落地最贵、最麻烦的一块——感知与导航。制造业、配送、物流、酒店这些场景里,”让机器自己从A走到B”向来是客户最想要的本事。把硬件门槛从一套传感器阵列降成”一颗摄像头加80亿参数”,意味着更多中小玩家也能碰机器人了。

  • 模型完全自研,不依赖任何开源视觉语言模型,从Mistral自家的 grounding 模型初始化而来。
  • 对相机内参差异很皮实,不同机器人、不同摄像头都能通用,部署起来省心。
  • 团队明确说还没看到性能天花板,更多训练和数据还能继续把数字往上推。

当然,模型目前还没开源,权重和代码要走商务接洽。但Mistral从语言模型跨界到机器人,信号已经很清楚:当小模型也能用一颗摄像头搞定复杂导航,机器人自主移动的硬件护城河,正在被重新画一遍。


0 点赞
0 收藏
分享
2 讨论
反馈
2 讨论
热门最新
总结
暂无总结

单摄像头能跑赢多传感器,关键在那套指路机制而不是堆算力,这点很 Mistral。不过没开源、走商务接洽,意味着短期还是大客户的玩具,离普通开发者上手还早。

把导航从堆传感器变成一颗摄像头加小模型,这个思路比又搞个千倍参数的大模型有意思多了。中小厂终于不用被硬件成本卡脖子,机器人落地的门槛实实在在降了一截。

0 / 600