Physical AI Lab // 第 1.7 話 // 小テスト
強化学習：試行錯誤で強くなる
お手本なし、ごほうびだけ。自分で試して見つけさせる
01
「強化学習とは、ロボットにお手本をたくさん見せてから、動きの一つひとつに点をつけることだ」。どこがまちがっていますか？
点の部分。強化学習は報酬をまったく使わない
まちがいはない。強化学習はまねに点数を足したもの
点の部分。点は一回分の最後に一度しかつけられない
お手本の部分。お手本なしで、報酬と試行錯誤で学ぶ
02
ある一回で、ロボットははじめの数歩でコップに近づいて少し点をもらいましたが、最後にボトルを倒して大きく減点されました。学ぶときに大事にすべきなのは？
最初の一歩でもらった少しの点
一回分の報酬を全部足した合計
コップにいちばん近づいた一歩の点
最後に大きく引かれた点だけ
03
あるチームが、一台の実機ロボットにゼロから試行錯誤で歩き方を覚えさせようとしています。動画の説明では、どんな助言がいちばんありそうですか？
まずお手本を記録しないと、まったく学べない
報酬さえ正しければ、実機で数回試せば十分だ
まず仮想の世界で、多くの分身に試させる
丈夫なモーターにすれば、何度転んでも平気だ
04
学習中の収益の曲線が途中で伸びなくなり、再生を見ると方策はいつも同じ、そこそこ安全な動きばかりしています。まず確かめるべきなのは？
探索は足りているか：同じ動きばかりか
報酬の項目が多すぎるので、すべて消す
並列の分身が多すぎるので、一体に減らす
曲線が伸びないのは、もう最善を学んだからだ
05
報酬は「コップが動いたかどうか」だけを見ています。再生では、ロボットがコップを机の下へはたき落としたのに、点数は高いままでした。これは何を示していますか？
方策はよく学べていて、動きが少し荒いだけ
報酬がずれていて、抜け道を突いている
シミュレーションと現実の差が大きすぎる
試行の回数がまだまったく足りない
答えを見る