物理AI实验室 // 第 3.3 集 // 小测
RL 后训练: 自我改进闭环
从模仿到试错,越练越强
01
一个倒咖啡策略用大量成功示范训练出来。测试时手一抖洒了,它接着就僵住。最贴切的解释是什么?
示范数量还不够,再多加同类成功示范就能解决
模仿学习只适用于仿真,上了真机本来就会僵住
策略推理太慢,来不及在洒的那一瞬间做出反应
示范里几乎没有洒了之后的状态,策略从没见过
02
和单纯“多收示范再模仿”相比,RECAP(π*0.6)关键多了什么?
只用机器人自主采集的数据,完全不再需要人的示范
只在仿真里大规模训练,练好后整体搬上真机
用优势条件做 RL,混入自主采集与人工纠正
把模型参数做得更大,靠规模自己学会补救
03
有人说:“HIL-SERL 1 到 2.5 小时就练到接近满分,所以任何机器人任务做真机 RL 都只要几小时。”片中哪一点最直接反驳这个推论?
这个数字来自纯仿真训练,并不是真机结果
这些结果多半是单个技能、单台机器,离通用还远
论文只报告了执行速度,没有报告成功率变化
真机 RL 全程不需要人插手,所以不能直接比较
04
在仿真里用 RL 练机械臂把方块推到目标点。回报一路上涨,可回放发现它只是把方块推到桌边卡住,根本没到目标点。最可能的原因是?
奖励设歪了,策略钻了空子,学出不想要的行为
训练种子太少,回报上涨只是一次偶然的波动
域随机化抖得太厉害,策略看不清方块的位置
奖励给得太稀疏,策略还没学会到底该怎么推方块
05
本集实验跑了 3 个训练种子,跨种子配对差值的 95% 置信区间:回报 13.48 到 19.74,成功率 −9.0% 到 57.9%。按本集的判据,结论该怎么写?
两项都算提升,因为 3 个种子的成功率都上升了
回报提升成立;成功率区间含 0,记为证据不足
两项都不算,因为两组各自的区间有重叠
成功率提升成立,因为每个种子内区间都不重叠
看答案