Physical AI Lab // 第 1.8 話 // 1枚まとめ
評価：成功率一つの裏に隠れたもの
条件を変え、シードを変えても、その成功率は通用する？
三つのポイント
- 成功率は「どんな条件で測ったのか」を聞く：照明やカメラ位置を変えると結果が変わる。「差し引き2回増」の裏には、3回の改善と1回の悪化が隠れている（O、対応のある比較）。
- 成功にも失敗にも、いろいろある：14回の失敗はすべて予算を使い切ってから止まり、アームの先はまだ動いていた（44.8–138.6 mm）。「失敗」のラベルは、実際どう失敗したのかを隠してしまう（O）。
- 一回の結果では決まらない：乱数シードで点数は上下にぶれる。繰り返し、ぶれを見て、信頼区間を報告する。再実行で30/30一致したのは、同じ条件で再現できるというだけで、一般的な結論ではない。
出典：O 公式・一次 · R 学術文献 · M メディア・二次
| O | 30回 | 同じ作業・三つの条件・十組の対応づけで行った、シミュレーションの閉ループテストの回数（robot-reel ストレスラボ、小規模な対照実験） |
| O | 160動作 / 8秒 | 一回ごとの決まった予算：動作は最大160回、シミュレーション時間は8秒（robot-reel ストレスラボ） |
| O | 3回改善・1回悪化 | カメラ位置を変えたあとの成功数「差し引き2回増」は、分けると実は3回改善・1回悪化（robot-reel ストレスラボ） |
| O | 14回 | 14回の失敗すべてが、動作の予算を使い切ってから止まった（robot-reel ストレスラボ） |
| O | 44.8–138.6 mm | 失敗しても止まってはいない：14回の失敗では、最後の十分の一の区間で、アームの先はなお44.8–138.6 mm移動（停滞判定の1 mmを上回る、robot-reel） |
| O | 30 / 30 | 同じマシンで全体をそのまま再実行し、30回の結果・動作数・状態と動作がすべて一致（robot-reel ストレスラボ） |
| R | 10回 | 同じハイパーパラメータで乱数シードだけを変えて10回走らせ、5回ずつ二組に分けて平均すると、二組の結論が統計的に有意に異なりうる（論文による） |
さらに読む
- robot-reel · SmolVLA ストレスラボ（同じ作業、三つの条件、30回の対応づけ）
https://noteflowai.github.io/robot-reel/stress/ - Deep RL at the Edge of the Statistical Precipice（回数が少ないときは区間を報告する、arXiv 2108.13264）
https://arxiv.org/abs/2108.13264 - Deep Reinforcement Learning that Matters（シードと再現性、arXiv 1709.06560）
https://arxiv.org/abs/1709.06560