物理AI实验室 // 第 3.6 集 // 一页纸

读前沿:怎么复核数字

用每天的雷达,把一篇论文的关键数字重算一遍

三个要点

  1. 数字虚高多半不是造假,是口径没对齐:评测集混进训练集(π0 从 ~96% 降到 ~89%,O)、峰值当常态、仿真当真机、只报最好一次。
  2. 读前沿先过一张清单:谁说的(O/R/M 证据等级,O)、什么口径、怎么分的、数字对不对得上(libero_10 是 379 不是 500,O)、峰值还是常态、样本够不够(N=5,O)。
  3. 复核的产物是“数字 + 一句能直接支撑它的原话 + 证据等级 + 链接”;用雷达当入口,回原文核,别停在标题。

证据:O 官方一手 · R 学术文献 · M 媒体二手

O96%→89%同一微调实验:早期因评测集与训练集重叠报出约 96% 改进,两边严格分开后降到约 89%
OO · R · M前沿雷达给每条结论标注证据等级——O 官方一手、R 论文预印本、M 媒体二手,厂商自报与同行评议不混
O379 段lerobot/libero_10 实际含 379 段,而非基准描述可能让人以为的 500——数字要回原始元数据核对
ON=5上面的改进只在前 5 段留出集上平均(DROID 共 20、LIBERO 共 75),样本小
O约 90%严格分割后,π0 微调把动作预测 MSE 在 DROID 上降 89.7%、LIBERO 上降 88.9%(开环、N=5)
R最多 70% / 50%论文称:在其仿真与真机评测数据上,可提前停止的序贯评测,评测量比标准批量评测最多少 70%,比针对二值成败的最新序贯方法最多少 50%;两个数基线不同,均为上限

延伸阅读