机器人进入真实场景,一定会遇到许多训练时没见过的情况。靠人工追在后面改代码、采数据,具身智能的落地只能小步慢跑。如何让机器人“边上岗,边解锁新技能”?

10月27日,智元正式发布具身Agent 框架Genie Master,以回答这一行业命题。搭载该框架的精灵G2,在真实便利店上岗期间,不依赖人工示范与调试,自己定位失败原因、调整策略、沉淀经验,做到了在多个复杂精细任务上持续改进,实现“无人在环”的持续自我进化。这是行业首次跳出仿真环境、走出实验室,首次在真实业务场景中验证Physical RSI(具身递归自进化)。

当机器人可以在部署中自主积累经验,同一套能力便能不断增厚,向更多门店、更多场景复制时,边际成本将持续下降——这正是具身智能走向规模化的关键前提。


(相关资料图)

搭起一座桥,为Physical RSI 提供支撑

在便利店上下货时,机器人需要把商品挂到货架的挂钩上。这个看似简单的任务,可能遇到一连串问题:挂钩尺寸太小、标签牌遮挡视线、头部相机无法看清准确位置。如果Agent 只给出一句“把货挂上去”,动作策略很难获得足够的执行信息;如果失败后,现场结果也无法返回,Agent 就难以判断问题究竟出在哪里。

机器人怎样像人一样,从一次次实践中吸取教训,从而越干越熟练?

关键不只是“会想”,还要“会做、知道结果、继续改进”。Agent 给出的判断,要落实为机器人的具体动作;机器人执行后的真实结果,也要回到Agent,成为下一轮判断和学习的依据。

搭起一座桥,把判断、执行与反馈连接起来,正是Genie Master 的设计出发点。为此,研究团队提出具身执行协议EEP(Embodied Execution Protocol),统一能力、引导、反馈和连续性四类接口,让Agent 清楚地知道:有哪些机器人能力可以调用,这一步应该如何引导执行,实际结果是否达到要求,以及还有哪些任务需要完成。

有了这套协议,Agent 结合现场观测下达执行引导,机器人执行后,成功与否、卡在哪一步等信息实时返回;一旦任务中断,系统保留已完成的进展,Agent 从断点处重新规划,而不是从头再来。多台机器人协作时,Agent 还能持续追踪集群的分工和任务依赖,支持多机动态调度。

在上述挂货任务中,Agent 回溯失败记录后发现,头部视角分辨率不足,挂钩又被标签牌遮挡,导致机器人无法识别挂钩位置。于是,Agent 调整执行引导:左手先靠近目标,用腕部相机补充近距离视角;确认挂钩位置后,再由右手完成挂货。从发现“挂不上去”,到判断“为什么挂不上去”,再到调整“应该怎样挂”,执行结果由此成为下一轮判断的依据。

两条路线,让机器人学会“吃一堑长一智”

跑通执行闭环,只是第 一步。要让机器人能力持续提升,还需要把一次教训,变成长期可复用的经验。

研究团队通过Harness RSI 与Policy RSI 两条互补路线,分别将经验保留在提示与记忆、动作策略参数中:一条让机器人记住经验,另一条让机器人把经验练成能力。

Harness RSI,让经验可积累。在推理和执行过程中,机器人会将成功与失败的案例随做随记。每日任务结束后,再由模型统一总结,把其中可复用的内容沉淀进长期记忆。遇到同类任务和场景时,这些经验可以被逐步加载、调用。

在前述挂货中,“头部相机看不清—改用腕部相机定位—右手完成挂货”的调整过程,可以经过总结成为可复用的“动作指南”。下一次遇到相似问题,Agent 不必完全重新摸索,而是可以调用已有经验组织行动。

Policy RSI,让能力可固化。在Agent 协助执行、接管和恢复的过程中,系统会产生包含问题、调整和结果的数据。这些数据经过后处理后用于训练动作策略,使有效的改进不只服务于当前任务,还能保留在模型参数中,转化为后续可调用的操作能力。

以打包外卖为例,针对水瓶和夹爪容易被白色提带缠住的问题,Agent 通过更具体的动作提示,引导夹爪先收回、再重新尝试放入包装袋。此类执行与恢复数据随后会回流训练,成为后续动作学习的素材。

两条路线由此相互配合:前者帮助Agent 更有效地诊断问题、后者则将执行经验转化为可保留的操作能力,从而让这一次工作的经验,成为下一次进化的起点。

走进一家店,让机器人在实战中持续进化

Genie Master 的能力,已经在真实场景中得到初步检验。

过去一段时间,G2 在便利店正式上岗,并在多个复杂精细任务上实现了持续改进:熟食打包在多次失败后变得更顺畅,取货和补货动作的准确度也稳步提高。

这些变化并非来自人工调参,而是机器人在执行过程中自己定位问题、积累经验的结果。这也是行业首次跳出仿真环境、走出实验室,在真实场景中验证Physical RSI——机器人不依赖人工示范和调试,在部署状态下持续自我进化。

真实业务场景的验证只是第 一步。接下来,研究团队还将在更多任务和场景中继续检验、完善这套体系。

11 月2 日,智元将开启一场24 小时不间断直播。6 台精灵G2 将作为机器人便利店的“试用期员工”,从首日10:00 打卡上班,到次日10:00 完成一场连续24 小时的“转正考核”。

它们要经历午间高峰试岗、晚高峰抗压、深夜独立值守、清晨早餐冲刺四个班次。整场直播不只是展示机器人能完成哪些动作,更要检验它们能否在持续变化的真实环境中胜任工作。

不掉线、不摸鱼、能服务、会应变。这一次,精灵G2 能否通过连续24 小时的考验,成功“转正”?

推荐内容