Physical AI Lab // 第 3.6 話 // 1枚まとめ

最前線を読む:数字の確かめ方

毎日のレーダーで、論文の鍵になる数字を計算し直す

三つのポイント

  1. 数字が高く出るのは、たいていねつ造ではなく定義のずれ:評価データの学習への混入(π0 は ~96% から ~89% に、O)、ピークをふだんの値に、シミュレーションを実機に、いちばん良い一回だけを報告。
  2. 最前線を読む前に確認リストを:誰が言ったか(O/R/M の証拠レベル、O)、どんな定義か、どう分けたか、数字は合っているか(libero_10 は500ではなく379、O)、ピークかふだんか、サンプルは足りるか(N=5、O)。
  3. 確かめた成果は「数字 + それを直接支える原文の一文 + 証拠レベル + リンク」。レーダーを入口に原文で確かめ、タイトルで止まらない。

出典:O 公式・一次 · R 学術文献 · M メディア・二次

O96%→89%同じ微調整実験:初期は評価用と学習用のデータが重なり約96%の改善と報告、厳密に分けると約89%に
OO · R · M最前線レーダーはどの結論にも証拠レベルを付ける。O 公式の一次情報、R 論文・プレプリント、M メディアの二次情報。メーカーの自己申告と査読は混ぜない
O379エピソードlerobot/libero_10 の実際の中身は379エピソード。ベンチマークの説明から想像されうる500ではない。数字は元のメタデータで確かめる
ON=5上の改善は、最初の5つの取り置きエピソードだけの平均(DROID は全20、LIBERO は全75)。サンプルが小さい
O約90%減厳密に分けたあと、π0 の微調整で動作予測の MSE が DROID で89.7%、LIBERO で88.9%下がった(開ループ、N=5)
R最大70% / 50%論文によると、シミュレーションと実機の評価データで、途中で打ち切れる逐次評価は、標準的な一括評価より評価の負担を最大70%、成功か失敗かの二値向けの最新の逐次手法より最大50%減らした。基準が異なり、いずれも上限

さらに読む