Physical AI Lab // 第 2.8 話 // 1枚まとめ
再現できる評価:繰り返し実験と信頼区間
ひとつの成功率の裏に、どれだけの確かさがあるのか
三つのポイント
- 成功率ひとつだけでは誤解を招く:乱数シードを変えて評価し直すだけで数字が跳ねる(論文の実験では有意に違う結論になった、R)。区間をつけること。
- Wald(正規近似)区間は使わない。カバー率が一貫して悪い(R)。小サンプルには Wilson(R)。ブートストラップ法のリサンプリングは分布を仮定しないが、サンプルを母集団の身代わりとして扱うので、サンプルが少なすぎたり比率が極端だったりするとうまくいかない。サンプルが多く統計量が複雑なときに向く(論文は MuJoCo の平均リターンの区間に一万回のリサンプリングを使用、R)。
- 区間の幅はおよそ 1/√n で縮む:不確かさを半分にするには、サンプル数は約四倍。失敗ゼロはリスクゼロではない。サンプルが少ないほど上限はゆるい。
出典:O 公式・一次 · R 学術文献 · M メディア・二次
| R | 10回 | 同じハイパーパラメータで乱数シードだけを変えて走らせ、五回ずつ二組に分けて平均すると、結論が統計的に有意に違うことがある(論文) |
| R | 10,000回 | ブートストラップ法で一万回リサンプリングし、複数の MuJoCo 環境の平均リターンの95%信頼区間を算出(論文、pivotal 法) |
| R | Wald→Wilson | 標準的な Wald(正規近似)区間のカバー率は一貫して悪い。論文は小サンプルに Wilson、大サンプルに Agresti–Coull を推奨 |
さらに読む
- Brown, Cai & DasGupta · Interval Estimation for a Binomial Proportion(2001, Statistical Science)
https://projecteuclid.org/journals/statistical-science/volume-16/issue-2/Interval-Estimation-for-a-Binomial-Proportion/10.1214/ss/1009213286.full - Henderson ほか · Deep Reinforcement Learning that Matters(arXiv 1709.06560)
https://arxiv.org/abs/1709.06560