Physical AI Lab // 第 1.8 話 // 小テスト
評価：成功率一つの裏に隠れたもの
条件を変え、シードを変えても、その成功率は通用する？
01
ある報告に「私たちの方策は成功率が高い」とだけ書かれています。この数字が信用できるかを判断するのに、いちばん役立つ情報は？
どんな条件で測り、全部で何回試したか
ロボットの見た目のデザインとブランドの知名度
いっしょに出たデモ動画が鮮明でなめらかか
報告にある成功率の数字がどれだけ高いか
02
カメラをずらしたあと、成功数は「差し引き二回増えた」。かえって悪くなった初期状態があるかを知るには、何を見ればいいですか？
三つの条件それぞれの全体の成功率
一回ごとに動作の予算をどれだけ使ったか
そのまま走らせ直して結果が一致するか
同じ初期状態ごとの対応づけた結果
03
14回の失敗はすべて160動作の予算を使い切り、しかもアームの先は最後の区間でもまだ動いていました。いちばん妥当な結論は？
ロボットは行きづまり、最後はその場で止まっていた
最初の一つ目の動きで、もう失敗していた
あきらめてはおらず、予算内に終わらなかっただけ
これらの失敗は、すべて暗い照明のせいだった
04
ある強化学習の方法を一つのシードだけで走らせたら、成功率がベースラインを上回りました。いちばん確かな次の一手は？
すぐに報告に書く：新しい方法のほうが良い
シードを変えて何度か走らせ、幅を報告する
別の作業で一回走らせ、同じなら認める
同じシードでそのまま走らせ直して確かめる
05
その実験をまるごとそのまま走らせ直すと、30回の結果が一つ残らず一致しました。ここから言えることは？
この方策は、どんな作業でも信頼できる
同じ条件なら再現できるが、ほかは分からない
これは公式のベンチマークで、他社と直接比べられる
成功率が100%だと証明された
答えを見る