Physical AI Lab // 第 1.6 話 // 1枚まとめ
模倣学習：お手本から動きを学ぶ
まねするだけ、がなぜ難しいのか
三つのポイント
- 模倣学習はお手本どおりにやること（行動クローニング）：「何を見たら、何をするか」を学ぶ。ただし一度ずれると知らない状態に入り、誤りが累積して雪だるま式にふくらむ（compounding error）。
- 有名な二つの方法：動作のチャンク化（ACTは約10分のお手本で6つの実タスクを学習。調味料のカップを開ける・電池を差し込むなどで成功率80〜90%、R）は短いひとまとまりを一度に予測してより安定。拡散方策（Diffusion Policy、12タスクで従来の最良手法より平均約46.9%向上、R）は「同じ場面に複数の正解」が得意。
- お手本は多いほどいいわけではない：データのスケーリング則の研究によると、多様性のほうが絶対数より重要。多様なデータをじゅうぶん集めれば、二つのタスクで、新しい環境・見たことのない物でも約90%に届いた（R）。曲線は急に伸びて、やがて平らになる。
出典：O 公式・一次 · R 学術文献 · M メディア・二次
| R | 80〜90% | ACT（動作のチャンク化）の、調味料のカップを開ける・電池を差し込むなどの実タスクでの成功率。お手本は約10分だけ（論文） |
| R | 46.9% | Diffusion Policy の、12タスク・4ベンチマークでの、従来の最良手法に対する平均の向上（論文） |
| R | 約90% | 多様なデータをじゅうぶん集めたあと、二つのタスクの新しい環境・見たことのない物での成功率。論文は、多様性のほうがお手本の絶対数より重要だとしている（論文） |
さらに読む
- ACT / ALOHA：低コスト双腕ロボットの模倣学習（arXiv 2304.13705）
https://arxiv.org/abs/2304.13705 - Diffusion Policy（arXiv 2303.04137）
https://arxiv.org/abs/2303.04137 - Data Scaling Laws in Imitation Learning（arXiv 2410.18647）
https://arxiv.org/abs/2410.18647