物理AI实验室 // 第 2.8 集 // 小测
可复现评测:重复实验与置信区间
一个成功率背后,到底有多少把握
01
新旧两个策略各测 20 次,新策略成功 15 次,旧策略成功 13 次,两者的 Wilson 区间大幅重叠。能得出什么结论?
新策略更好,成功率高出 10 个百分点
旧策略更好,因为它的结果更稳定
分不出胜负,需要更多次评测
两个策略的真实成功率完全一样
02
10 次全部成功,Wald 区间给出的上下限都是 100%。为什么不能信这个区间?
Wald 只能用于连续数据,成功率不适用
观测到 100% 一定是算错了
Wald 只适合失败次数多的情况
小样本全对时,正态近似失效
03
现在区间半宽大约 ±10 个百分点,想缩到 ±5,评测次数大约要变成原来的几倍?
两倍
四倍
一倍半
十倍
04
一份报告写着“成功率 92%”,后来发现作者跑了 12 轮,只报了最高的那一轮。问题出在哪?
只报最高一轮,把运气当成实力
12 轮太少,至少要跑 100 轮
应该报最低那一轮,才算保守
92% 超过了 Wilson 区间的上限
05
真机上测了 20 次,一次都没失败。报告里最诚实的写法是?
成功率 100%,这个策略不会失败
写明 20 次零失败,并附上区间
先不报,等第一次失败出现再算
只写“未观测到失败”,不用给区间
看答案