Physical AI Lab // 第 3.3 話 // 小テスト

RL事後学習: 自己改善のループ

模倣から試行錯誤へ、練習するほど強くなる

01コーヒーを注ぐ方策を、うまくいったお手本だけで大量に学習させました。テストで手がぶれてこぼすと、そのまま固まってしまいます。最も適切な説明は?

02「お手本を増やしてまねる」だけと比べて、RECAP(π*0.6)で決定的に加わったものは?

03「HIL-SERL は 1〜2.5 時間でほぼ満点になった。だからどんなロボットのタスクでも、実機の RL は数時間で済む」という人がいます。動画のどの点が最も直接の反論になりますか?

04シミュレーションで、ブロックを目標まで押すようにアームを RL で学習させました。リターン(累積報酬)は上がり続けますが、再生すると、ブロックを机の端に押しつけているだけで目標には届いていません。最も考えられる原因は?

05この回の実験は学習シード 3 つで行いました。シード間で対にした差の 95% 信頼区間は、リターン(累積報酬)が 13.48〜19.74、成功率が −9.0%〜57.9% でした。この回の判定基準では、結論はどう書きますか?