Physical AI Lab // 第 3.3 話 // 小テスト
RL事後学習: 自己改善のループ
模倣から試行錯誤へ、練習するほど強くなる
01
コーヒーを注ぐ方策を、うまくいったお手本だけで大量に学習させました。テストで手がぶれてこぼすと、そのまま固まってしまいます。最も適切な説明は?
お手本がまだ足りず、同じような成功例を増やせば解決する
模倣学習はシミュレーション専用で、実機ではもともと固まる
推論が遅すぎて、こぼれた瞬間に反応が間に合わない
こぼした後の状態はお手本にほぼなく、未知の領域に入った
02
「お手本を増やしてまねる」だけと比べて、RECAP(π*0.6)で決定的に加わったものは?
ロボットが自分で集めたデータだけを使い、人のお手本はもう不要にした
シミュレーションだけで大規模に学習し、仕上げてから実機に移した
アドバンテージ条件づけで RL を行い、自律収集と人の修正を混ぜた
モデルを大きくして、規模の力で立て直しを覚えさせた
03
「HIL-SERL は 1〜2.5 時間でほぼ満点になった。だからどんなロボットのタスクでも、実機の RL は数時間で済む」という人がいます。動画のどの点が最も直接の反論になりますか?
この数字は純粋なシミュレーションの結果で、実機ではない
これらの多くは単一のスキル・単一の機械で、汎用にはほど遠い
論文は実行速度だけを報告し、成功率の変化は報告していない
実機の RL は人の手助けが一切いらないので、比べられない
04
シミュレーションで、ブロックを目標まで押すようにアームを RL で学習させました。リターン(累積報酬)は上がり続けますが、再生すると、ブロックを机の端に押しつけているだけで目標には届いていません。最も考えられる原因は?
報酬の設定がずれ、方策が抜け穴を突いて望まない行動を覚えた
学習シードが少なく、リターンの上昇はたまたまの揺れにすぎない
ドメインランダム化が強すぎて、ブロックの位置が見えていない
報酬がまばらすぎて、まだ押し方を覚えられていない
05
この回の実験は学習シード 3 つで行いました。シード間で対にした差の 95% 信頼区間は、リターン(累積報酬)が 13.48〜19.74、成功率が −9.0%〜57.9% でした。この回の判定基準では、結論はどう書きますか?
3 つのシードすべてで成功率が上がったので、両方とも改善
リターンは改善が成立。成功率は区間が 0 を含むので証拠不足
二つの群それぞれの区間が重なるので、両方とも改善とは言えない
各シードの中で区間が重ならないので、成功率も改善が成立
答えを見る