物理AI实验室 // 第 2.8 集 // 一页纸

可复现评测:重复实验与置信区间

一个成功率背后,到底有多少把握

三个要点

  1. 只报一个成功率会骗人:只换随机种子、重复评测,数字就会跳(论文实验显示可差到显著不同,R)。要给区间。
  2. 别用 Wald(正态近似)区间,它覆盖率长期很差(R);小样本用 Wilson(R)。自助法重采样不假设分布,但把样本当总体的替身,样本太少、比例极端时也会失灵;它更适合样本较多、统计量复杂时(论文给 MuJoCo 平均回报算区间用了一万次重采样,R)。
  3. 区间宽度约按 1/√n 收窄:想把不确定性砍半,样本量约翻两番;零失败不等于零风险,样本越少上界越松。

证据:O 官方一手 · R 学术文献 · M 媒体二手

R10 次同一套超参跑十次、只换随机种子,拆成两组各五次求平均,结论可差到统计上显著不同(论文)
R10,000 次用自助法(bootstrap)给几个 MuJoCo 环境的平均回报算 95% 置信区间,论文用一万次重采样(pivotal 方法)
RWald→Wilson标准 Wald(正态近似)区间覆盖率长期很差;论文推荐小样本用 Wilson、大样本用 Agresti–Coull

延伸阅读