物理AI实验室 // 第 1.8 集 // 一页纸
评测：一个成功率背后藏了什么
换个条件、换个种子，成功率还算数吗？
三个要点
- 成功率要问“在什么条件下测的”：换光照、换机位结果就变；一个“净增 2”其实藏着 3 次变好、1 次变坏（O，配对比较）。
- 成功和失败都不止一种：14 次失败全是用完预算才停、末端还在动（44.8–138.6 mm），“失败”标签盖住了它到底怎么失败（O）。
- 一次结果不算数：随机种子会让分数上下跳，要重复、看波动、报置信区间；重跑 30/30 只说明同条件可复现，不是通用结论。
证据：O 官方一手 · R 学术文献 · M 媒体二手
| O | 30 次 | 同一任务、三种条件、十组配对下的仿真闭环测试次数（robot-reel 压力实验室，小规模对照实验） |
| O | 160 动作 / 8 秒 | 每次测试的固定预算：最多 160 个动作、8 秒仿真时间（robot-reel 压力实验室） |
| O | 3 好 1 坏 | 换相机机位后成功数“净增 2”，拆开其实是 3 次变好、1 次变坏（robot-reel 压力实验室） |
| O | 14 次 | 全部 14 次失败都是用完动作预算才停下（robot-reel 压力实验室） |
| O | 44.8–138.6 mm | 失败不是卡死：14 次失败在最后十分之一段，末端仍移动 44.8–138.6 毫米（超过 1 毫米停滞线，robot-reel） |
| O | 30 / 30 | 同机把整套实验原样重跑，30 次结果、动作数、状态与动作全部一致（robot-reel 压力实验室） |
| R | 10 次 | 同一套超参只换随机种子跑 10 次，分成两组各 5 次求平均，两组结论可差到统计上显著不同（论文称） |
延伸阅读
- robot-reel · SmolVLA 压力实验室（同一任务，三种条件，30 次配对）
https://noteflowai.github.io/robot-reel/stress/ - Deep RL at the Edge of the Statistical Precipice（少数几次要报区间，arXiv 2108.13264）
https://arxiv.org/abs/2108.13264 - Deep Reinforcement Learning that Matters（种子与可复现性，arXiv 1709.06560）
https://arxiv.org/abs/1709.06560