物理AI实验室 // 第 3.3 集 // 一页纸
RL 后训练: 自我改进闭环
从模仿到试错,越练越强
三个要点
- 示范很少覆盖出错和补救的状态,模仿策略一偏离示范见过的范围就容易卡住(分布偏移);强化学习让策略从自己的经验(含奖励与纠正)里学会补救。
- 论文称,RECAP 把 RL 用到 VLA(π*0.6)后,在部分最难的任务上吞吐翻了一倍多、失败率大致减半(R);HIL-SERL 直接在真机上做 RL,论文称 1–2.5 小时练到接近满分,与模仿学习基线和以往 RL 方法相比,成功率平均达到 2 倍、执行快 1.8 倍(R)。
- 自我改进是个闭环(看-想-动-反馈-更新);仿真(英伟达 Isaac Lab,O)能大量并行地练,但真机 RL 慢又贵、奖励难设、还有 sim2real 差距。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 优势条件 | RECAP:用优势条件把强化学习用到 VLA 上,数据含示范、自主采集与人工纠偏(Physical Intelligence) |
| R | 翻倍以上 / 约减半 | 在部分最难的任务上,RECAP 把吞吐量翻了一倍多,失败率大致减半(论文) |
| R | 叠衣·组装纸箱·咖啡 | π*0.6 经 RECAP 训练后能在真实家庭叠衣服、可靠地组装纸箱、用专业咖啡机做咖啡(论文) |
| R | 1 到 2.5 小时 | 真实世界 RL:1 到 2.5 小时训练出接近满分的成功率(论文) |
| R | 2 倍 / 1.8 倍 | 与模仿学习基线和以往 RL 方法相比,成功率平均达到 2 倍,执行快 1.8 倍(论文) |
| O | GPU 并行仿真 | 英伟达 Isaac Lab:GPU 加速的开源机器人学习框架,支持强化学习、示范学习与运动规划 |
| O | +24.5 个百分点 / +16.61 | 本集仿真实验,3 个训练种子配对:成功率提升 [−9.0, 57.9] 个百分点,含 0,回报 [13.48, 19.74] 不含 0;种子 1 单独 +40.0 个百分点 |
延伸阅读
- π*0.6:从经验中学习的 VLA(RECAP,arXiv 2511.14759)
https://arxiv.org/abs/2511.14759 - 人在环里的真实世界强化学习(HIL-SERL,arXiv 2410.21845)
https://arxiv.org/abs/2410.21845 - NVIDIA Isaac Lab 文档
https://isaac-sim.github.io/IsaacLab/main/index.html