Physical AI Lab // 第 3.3 話 // 1枚まとめ

RL事後学習: 自己改善のループ

模倣から試行錯誤へ、練習するほど強くなる

三つのポイント

  1. お手本には失敗や立て直しの状態がほとんどなく、模倣の方策はお手本の範囲からそれると行き詰まりやすい(分布シフト)。強化学習なら、方策は自分の経験(報酬や修正を含む)から立て直しを学べる。
  2. 論文によると、RECAP は RL を VLA(π*0.6)に応用し、一部の最も難しい作業で処理量を二倍以上、失敗率をおおよそ半分にした(R)。HIL-SERL は実機で直接 RL を行い、論文によると1〜2.5時間でほぼ満点。模倣学習のベースラインや従来のRL手法と比べ、成功率は平均2倍、実行は1.8倍速い(R)。
  3. 自己改善はループ(見る・考える・動く・フィードバック・更新)。シミュレーション(エヌビディア Isaac Lab、O)なら大量に並列で練習できるが、実機RLは遅くて高く、報酬の設定が難しく、sim2real の差もある。

出典:O 公式・一次 · R 学術文献 · M メディア・二次

Rアドバンテージ条件づけRECAP:アドバンテージ条件づけで強化学習を VLA に応用。データはお手本、自律収集、人による修正(Physical Intelligence)
R倍以上 / 約半分一部の最も難しい作業で、RECAP は処理量を二倍以上にし、失敗率をおおよそ半分に(論文)
R洗濯物・箱の組み立て・コーヒーRECAP で学習した π*0.6 は、実際の家庭で洗濯物をたたみ、確実に箱を組み立て、業務用マシンでコーヒーをいれる(論文)
R1〜2.5時間実世界のRL:1〜2.5時間の学習で、ほぼ満点の成功率に(論文)
R2倍 / 1.8倍模倣学習のベースラインや従来のRL手法と比べ、成功率は平均2倍、実行は1.8倍速い(論文)
OGPU並列シミュレーションエヌビディア Isaac Lab:GPUで加速するオープンソースのロボット学習フレームワーク。強化学習、お手本からの学習、動作計画に対応
O+24.5 ポイント / +16.61この回のシミュレーション実験、学習シード 3 つの対比較:成功率の向上 [−9.0, 57.9] ポイントは 0 を含み、リターン [13.48, 19.74] は 0 を含まない。シード 1 だけなら +40.0 ポイント

さらに読む