物理AI实验室 // 第 3.3 集 // 小测

RL 后训练: 自我改进闭环

从模仿到试错,越练越强

01一个倒咖啡策略用大量成功示范训练出来。测试时手一抖洒了,它接着就僵住。最贴切的解释是什么?

02和单纯“多收示范再模仿”相比,RECAP(π*0.6)关键多了什么?

03有人说:“HIL-SERL 1 到 2.5 小时就练到接近满分,所以任何机器人任务做真机 RL 都只要几小时。”片中哪一点最直接反驳这个推论?

04在仿真里用 RL 练机械臂把方块推到目标点。回报一路上涨,可回放发现它只是把方块推到桌边卡住,根本没到目标点。最可能的原因是?

05本集实验跑了 3 个训练种子,跨种子配对差值的 95% 置信区间:回报 13.48 到 19.74,成功率 −9.0% 到 57.9%。按本集的判据,结论该怎么写?