物理AI实验室 // 第 2.8 集 // 小测

可复现评测:重复实验与置信区间

一个成功率背后,到底有多少把握

01新旧两个策略各测 20 次,新策略成功 15 次,旧策略成功 13 次,两者的 Wilson 区间大幅重叠。能得出什么结论?

0210 次全部成功,Wald 区间给出的上下限都是 100%。为什么不能信这个区间?

03现在区间半宽大约 ±10 个百分点,想缩到 ±5,评测次数大约要变成原来的几倍?

04一份报告写着“成功率 92%”,后来发现作者跑了 12 轮,只报了最高的那一轮。问题出在哪?

05真机上测了 20 次,一次都没失败。报告里最诚实的写法是?