物理AI实验室 // 第 1.6 集 // 一页纸
模仿学习:看示范学动作
照着做,为什么没那么简单
三个要点
- 模仿学习就是照示范做(行为克隆):把“看到什么、做什么”学下来;但一旦走偏就进入陌生状态,错误会累积滚雪球(compounding error)。
- 两个有名的办法:动作分块(ACT,学了 6 个真实任务;约 10 分钟示范,开调料杯、插电池等任务成功率 80–90%,R)一次预测一小段更稳;扩散策略(Diffusion Policy,12 个任务上比此前最好的方法平均提升约 46.9%,R)擅长“同一场景多种正确做法”。
- 示范不是越多越好:一篇数据规模律研究发现,多样性比绝对数量更关键,攒够多样数据后,两个任务在新环境、没见过的物体上约 90%(R);曲线先猛涨后压平。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 80–90% | ACT(动作分块)在开调料杯、插电池等真实任务上的成功率,只用约 10 分钟示范(论文) |
| R | 46.9% | Diffusion Policy 在 12 个任务、4 个基准上相对此前最好方法的平均提升(论文) |
| R | 约 90% | 攒够多样数据后,两个任务在新环境、没见过的物体上的成功率;论文称多样性比示范绝对数量更重要(论文) |
延伸阅读
- ACT / ALOHA:低成本双臂模仿学习(arXiv 2304.13705)
https://arxiv.org/abs/2304.13705 - Diffusion Policy(arXiv 2303.04137)
https://arxiv.org/abs/2303.04137 - Data Scaling Laws in Imitation Learning(arXiv 2410.18647)
https://arxiv.org/abs/2410.18647