物理AI实验室 // 第 1.8 集 // 小测
评测：一个成功率背后藏了什么
换个条件、换个种子，成功率还算数吗？
01
一份报告只写了一句：“我们的策略成功率很高。”下面哪项信息，最能帮你判断这个数靠不靠得住？
在什么条件下测、一共试了几次
机器人的外观设计和品牌名气
配套的演示视频是不是清晰流畅
报告里成功率的数字到底有多高
02
挪了相机以后，成功数“净增两次”。想知道有没有哪些起始状态反而变差了，应该看什么？
三种条件各自的总成功率
每次用掉了多少动作预算
原样重跑后结果是否一致
同一起始状态的配对结果
03
14 次失败全都用完了 160 个动作的预算，而且末端在最后一段还在移动。最合理的结论是？
机器人卡住了，最后停在原地不动
它在第一个动作就已经失败了
它没放弃，只是没在预算内做完
这些失败全都是暗光条件造成的
04
你用一种强化学习方法只跑了一个种子，成功率比基线高。最稳妥的下一步是？
直接写进报告：新方法就是更好
换几个种子多跑，报出高低范围
换个任务跑一次，结果一样就算数
把同一个种子原样重跑一遍来确认
05
那份实验把整套原样重跑一遍，30 次结果一次不差。能据此说什么？
这个策略放到任何任务上都可靠
同条件能复现，换任务换种子不一定
这就是官方跑分，可以直接和别家比
成功率已经被证明是百分之一百了
看答案