Physical AI Lab // 第 1.7 話 // 1枚まとめ
強化学習：試行錯誤で強くなる
お手本なし、ごほうびだけ。自分で試して見つけさせる
三つのポイント
- 強化学習は、お手本ではなく報酬と試行錯誤で学ぶ：正しく動けば加点、まちがえれば減点。ロボットは自分で方策（状況を見て→次にどう動くか）を見つけていく。
- 試行錯誤には多くの回数がいるので、シミュレーションへ：ある論文は何千体ものロボット犬の分身を一枚のGPUで並列に練習させ、平地なら四分足らずで歩けるようになった（R、2021年）。
- 報酬を正しく書くのは難しい：少しずれるだけで、ロボットは「抜け道」を突き、高い点を取るのに本当は作業ができていない。だから報酬は何度も調整し、人がリプレイを確かめる。
出典：O 公式・一次 · R 学術文献 · M メディア・二次
| R | 何千体 | 一枚のGPUで並列に学習させたシミュレーション上のロボットの数。並列化で学習を数分に短縮（論文、ANYmal ロボット犬） |
| R | 4分未満 | シミュレーションの並列学習で、四足ロボット犬が平地を歩けるようになるまでの時間。でこぼこの地形では約20分（論文による） |
さらに読む
- Learning to Walk in Minutes（arXiv 2109.11978、何千体もの分身を並列に）
https://arxiv.org/abs/2109.11978 - 本物のロボットで動く四足の強化学習（arXiv 1901.08652、Science Robotics）
https://arxiv.org/abs/1901.08652 - Concrete Problems in AI Safety（報酬ハッキングを含む、arXiv 1606.06565）
https://arxiv.org/abs/1606.06565