Physical AI Lab // 第 2.4 話 // 小テスト

数千の環境でいっしょに歩く練習

Isaac Lab：GPU並列＋強化学習

01同じ一日でも、実機よりシミュレーションのほうがずっと速く歩き方を覚えるのはなぜですか？シミュレーションの物理は単純で、歩くのがもともと楽シミュレーションでは報酬が要らず、勝手に歩ける時間を速め、多くの環境を同時に動かせるシミュレーションには人のお手本があり、まねできる

02報酬は「前にどれだけ進んだか」だけ。学習後、二歩突進してばったり倒れる。いちばん考えられる原因は？並列環境が少なく、経験が足りない転倒を罰しておらず、抜け穴をつかれたPPO は人型ロボットに向いていないヘッドレスモードで、方策に地面が見えていない

03長く学習しても、報酬の曲線が平らなまま上がらない。動画では、まず何を確かめるべきですか？曲線が揺れているので、学習は失敗している報酬の設定が正しいかどうか描画ウィンドウを開いて、画面で原因を探す模倣学習に替えて、まずお手本を録る

04入門チュートリアルの倒立振子は環境64個だけなのに、ドキュメントは数千個を並列にできると言う。これは何を示していますか？64 は入門例の設定にすぎず、もっと増やせる64 が Isaac Lab で動かせる上限数千個にはスパコンが要り、一般の GPU では 64 個まで倒立振子はちょうど64個でないと収束しない

05シミュレーションではもう安定して歩ける。次は実機に移したい。動画は学習に何を加えるよう勧めていますか？並列環境の数をさらに10倍にする地形の変化をなくし、平地で完璧にする強化学習をやめ、お手本で微調整するわざと乱れを入れる。不意に押すなど