Physical AI Lab // 第 3.3 話 // 1枚まとめ
RL事後学習: 自己改善のループ
模倣から試行錯誤へ、練習するほど強くなる
三つのポイント
- お手本には失敗や立て直しの状態がほとんどなく、模倣の方策はお手本の範囲からそれると行き詰まりやすい(分布シフト)。強化学習なら、方策は自分の経験(報酬や修正を含む)から立て直しを学べる。
- 論文によると、RECAP は RL を VLA(π*0.6)に応用し、一部の最も難しい作業で処理量を二倍以上、失敗率をおおよそ半分にした(R)。HIL-SERL は実機で直接 RL を行い、論文によると1〜2.5時間でほぼ満点。模倣学習のベースラインや従来のRL手法と比べ、成功率は平均2倍、実行は1.8倍速い(R)。
- 自己改善はループ(見る・考える・動く・フィードバック・更新)。シミュレーション(エヌビディア Isaac Lab、O)なら大量に並列で練習できるが、実機RLは遅くて高く、報酬の設定が難しく、sim2real の差もある。
出典:O 公式・一次 · R 学術文献 · M メディア・二次
| R | アドバンテージ条件づけ | RECAP:アドバンテージ条件づけで強化学習を VLA に応用。データはお手本、自律収集、人による修正(Physical Intelligence) |
| R | 倍以上 / 約半分 | 一部の最も難しい作業で、RECAP は処理量を二倍以上にし、失敗率をおおよそ半分に(論文) |
| R | 洗濯物・箱の組み立て・コーヒー | RECAP で学習した π*0.6 は、実際の家庭で洗濯物をたたみ、確実に箱を組み立て、業務用マシンでコーヒーをいれる(論文) |
| R | 1〜2.5時間 | 実世界のRL:1〜2.5時間の学習で、ほぼ満点の成功率に(論文) |
| R | 2倍 / 1.8倍 | 模倣学習のベースラインや従来のRL手法と比べ、成功率は平均2倍、実行は1.8倍速い(論文) |
| O | GPU並列シミュレーション | エヌビディア Isaac Lab:GPUで加速するオープンソースのロボット学習フレームワーク。強化学習、お手本からの学習、動作計画に対応 |
| O | +24.5 ポイント / +16.61 | この回のシミュレーション実験、学習シード 3 つの対比較:成功率の向上 [−9.0, 57.9] ポイントは 0 を含み、リターン [13.48, 19.74] は 0 を含まない。シード 1 だけなら +40.0 ポイント |
さらに読む
- π*0.6:経験から学ぶ VLA(RECAP、arXiv 2511.14759)
https://arxiv.org/abs/2511.14759 - 人がループに入る実世界の強化学習(HIL-SERL、arXiv 2410.21845)
https://arxiv.org/abs/2410.21845 - NVIDIA Isaac Lab ドキュメント
https://isaac-sim.github.io/IsaacLab/main/index.html