物理AI实验室 // 第 2.8 集 // 一页纸
可复现评测:重复实验与置信区间
一个成功率背后,到底有多少把握
三个要点
- 只报一个成功率会骗人:只换随机种子、重复评测,数字就会跳(论文实验显示可差到显著不同,R)。要给区间。
- 别用 Wald(正态近似)区间,它覆盖率长期很差(R);小样本用 Wilson(R)。自助法重采样不假设分布,但把样本当总体的替身,样本太少、比例极端时也会失灵;它更适合样本较多、统计量复杂时(论文给 MuJoCo 平均回报算区间用了一万次重采样,R)。
- 区间宽度约按 1/√n 收窄:想把不确定性砍半,样本量约翻两番;零失败不等于零风险,样本越少上界越松。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 10 次 | 同一套超参跑十次、只换随机种子,拆成两组各五次求平均,结论可差到统计上显著不同(论文) |
| R | 10,000 次 | 用自助法(bootstrap)给几个 MuJoCo 环境的平均回报算 95% 置信区间,论文用一万次重采样(pivotal 方法) |
| R | Wald→Wilson | 标准 Wald(正态近似)区间覆盖率长期很差;论文推荐小样本用 Wilson、大样本用 Agresti–Coull |
延伸阅读
- Brown, Cai & DasGupta · Interval Estimation for a Binomial Proportion(2001, Statistical Science)
https://projecteuclid.org/journals/statistical-science/volume-16/issue-2/Interval-Estimation-for-a-Binomial-Proportion/10.1214/ss/1009213286.full - Henderson 等 · Deep Reinforcement Learning that Matters(arXiv 1709.06560)
https://arxiv.org/abs/1709.06560