物理AI实验室 // 第 1.7 集 // 一页纸
强化学习：在试错中变强
不给示范，只给奖励，让它自己试出来
三个要点
- 强化学习靠奖励和试错，不靠示范：动对了加分、动错了扣分，机器人自己摸出一套策略（看到情况→下一步怎么动）。
- 试错要很多次，所以搬进仿真：一篇论文让几千个机器狗分身在一块显卡上并行，平地不到四分钟就学会走路（R，2021）。
- 奖励很难写对：写歪一点，机器人就会“钻空子”——拿到高分却没真做成事；所以要反复调奖励、要有人回看。
证据：O 官方一手 · R 学术文献 · M 媒体二手
| R | 几千个 | 单块显卡上并行训练的仿真机器人数量；靠并行把训练压到几分钟（论文，ANYmal 机器狗） |
| R | 不到 4 分钟 | 仿真里并行训练，四足机器狗在平地学会走路的用时；不平地形约 20 分钟（论文称） |
延伸阅读
- Learning to Walk in Minutes（arXiv 2109.11978，几千个分身并行）
https://arxiv.org/abs/2109.11978 - 在真机上跑起来的四足强化学习（arXiv 1901.08652，Science Robotics）
https://arxiv.org/abs/1901.08652 - Concrete Problems in AI Safety（含 reward hacking，arXiv 1606.06565）
https://arxiv.org/abs/1606.06565