Physical AI Lab // 第 2.8 話 // 小テスト

再現できる評価:繰り返し実験と信頼区間

ひとつの成功率の裏に、どれだけの確かさがあるのか

01新旧二つの方策をそれぞれ 20 回試し、新しい方策は 15 回、古い方策は 13 回成功。二つの Wilson 区間は大きく重なっている。何が言えますか?

0210 回すべて成功し、Wald 区間は上限も下限も 100% になった。この区間を信じてはいけないのはなぜですか?

03いま区間の半分の幅が約 ±10 ポイント。±5 に縮めるには、評価回数をおよそ何倍にすればよいですか?

04報告書に「成功率 92%」とあるが、著者は 12 回走らせ、いちばん良い回だけを報告していた。何が問題ですか?

05実機で 20 回試し、一度も失敗しなかった。報告でいちばん誠実な書き方は?