Physical AI Lab // 第 2.8 話 // 小テスト
再現できる評価:繰り返し実験と信頼区間
ひとつの成功率の裏に、どれだけの確かさがあるのか
01
新旧二つの方策をそれぞれ 20 回試し、新しい方策は 15 回、古い方策は 13 回成功。二つの Wilson 区間は大きく重なっている。何が言えますか?
新しい方策が良い。成功率が 10 ポイント高い
古い方策が良い。結果が安定している
勝ち負けはつかない。もっと評価回数が要る
二つの本当の成功率はまったく同じ
02
10 回すべて成功し、Wald 区間は上限も下限も 100% になった。この区間を信じてはいけないのはなぜですか?
Wald は連続データ専用で、成功率には使えない
100% を観測したのは計算ミスに違いない
Wald は失敗が多い場合にしか向かない
少数で全部成功だと正規近似が崩れる
03
いま区間の半分の幅が約 ±10 ポイント。±5 に縮めるには、評価回数をおよそ何倍にすればよいですか?
2 倍
4 倍
1.5 倍
10 倍
04
報告書に「成功率 92%」とあるが、著者は 12 回走らせ、いちばん良い回だけを報告していた。何が問題ですか?
最高の回だけで、運を実力に見せている
12 回は少なすぎ、最低 100 回は必要
慎重にするなら、いちばん悪い回を報告すべき
92% は Wilson 区間の上限を超えている
05
実機で 20 回試し、一度も失敗しなかった。報告でいちばん誠実な書き方は?
成功率 100%。この方策は失敗しない
20 回で失敗ゼロと書き、区間を添える
まだ報告せず、最初の失敗が出てから計算する
「失敗は観測されず」とだけ書き、区間は付けない
答えを見る