物理AI实验室 // 第 3.4 集 // 一页纸
长程任务怎么不崩?
记忆、规划与多策略路由:把长活儿拆成能管的边界
三个要点
- 长任务难在误差累积:单步猜错概率不大,几十步连乘就不小,偏差还会越滚越大,单一策略难独自扛住。
- 分层解耦“想”和“做”:慢的高层(GR00T 的系统二做任务拆解)想大局,快的低层实时出动作。AWS 在 H100 上、ODE 只解 1 步时实测:π0 一包 50 步约覆盖 1 秒,生成不到 200 毫秒,约 5 Hz 重规划(O);这是该条件下的 π0 数字,不是所有快层的通性。
- 编排器负责多策略路由与记忆:SayCan 用技能价值函数、Hi Robot 让 VLM 直接想(R);π0.5 先预测语义子任务;评测要分开看单步与整条链成功率。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 两套系统 | GR00T N1 用双系统架构:视觉-语言模块(系统二)理解环境,扩散模块(系统一)实时生成动作 |
| O | 系统二 | GR00T N1.7 的系统二(Cosmos-Reason2-2B 骨干)正是做任务拆解与多步推理的地方 |
| O | < 200 ms | H100 上、ODE 只解 1 步时,π0 生成一整包 50 步动作不到 200 毫秒(AWS 实测) |
| O | ≈5 Hz | π0 生成一包不到 200 毫秒,可约 5 Hz 重规划;每包覆盖约 1 秒动作(H100 实测) |
| R | 3 种机器人 | Hi Robot 用分层 VLM:高层先想下一步,低层再执行;在单臂、双臂、移动双臂三种机器人上验证 |
| R | SayCan | 论文称:语言模型提供长任务的步骤知识,技能的价值函数判断这一步在当前环境里能不能做到 |
| R | π0.5 | 论文称:先预测语义子任务再出动作;混合多种数据训练后,能在全新的家里收拾厨房、卧室(作者自报) |
| O | 10 类 | LIBERO-10 是含 10 类任务的桌面操作仿真基准;本集附带实验是 CPU 二维替身,本机没跑 LIBERO |
延伸阅读
- GR00T N1:双系统 VLA(arXiv 2503.14734)
https://arxiv.org/abs/2503.14734 - Hi Robot:分层 VLA 的开放式指令跟随(arXiv 2502.19417)
https://arxiv.org/abs/2502.19417 - π0.5:带开放世界泛化的 VLA(arXiv 2504.16054)
https://arxiv.org/abs/2504.16054 - SayCan:用机器人可行性给语言模型接地(arXiv 2204.01691)
https://arxiv.org/abs/2204.01691