Physical AI Lab // 第 3.6 話 // 1枚まとめ
最前線を読む:数字の確かめ方
毎日のレーダーで、論文の鍵になる数字を計算し直す
三つのポイント
- 数字が高く出るのは、たいていねつ造ではなく定義のずれ:評価データの学習への混入(π0 は ~96% から ~89% に、O)、ピークをふだんの値に、シミュレーションを実機に、いちばん良い一回だけを報告。
- 最前線を読む前に確認リストを:誰が言ったか(O/R/M の証拠レベル、O)、どんな定義か、どう分けたか、数字は合っているか(libero_10 は500ではなく379、O)、ピークかふだんか、サンプルは足りるか(N=5、O)。
- 確かめた成果は「数字 + それを直接支える原文の一文 + 証拠レベル + リンク」。レーダーを入口に原文で確かめ、タイトルで止まらない。
出典:O 公式・一次 · R 学術文献 · M メディア・二次
| O | 96%→89% | 同じ微調整実験:初期は評価用と学習用のデータが重なり約96%の改善と報告、厳密に分けると約89%に |
| O | O · R · M | 最前線レーダーはどの結論にも証拠レベルを付ける。O 公式の一次情報、R 論文・プレプリント、M メディアの二次情報。メーカーの自己申告と査読は混ぜない |
| O | 379エピソード | lerobot/libero_10 の実際の中身は379エピソード。ベンチマークの説明から想像されうる500ではない。数字は元のメタデータで確かめる |
| O | N=5 | 上の改善は、最初の5つの取り置きエピソードだけの平均(DROID は全20、LIBERO は全75)。サンプルが小さい |
| O | 約90%減 | 厳密に分けたあと、π0 の微調整で動作予測の MSE が DROID で89.7%、LIBERO で88.9%下がった(開ループ、N=5) |
| R | 最大70% / 50% | 論文によると、シミュレーションと実機の評価データで、途中で打ち切れる逐次評価は、標準的な一括評価より評価の負担を最大70%、成功か失敗かの二値向けの最新の逐次手法より最大50%減らした。基準が異なり、いずれも上限 |
さらに読む
- AWS · π0 微調整のエンジニアリングブログ(96%→89% の分割の教訓)
https://aws.amazon.com/blogs/physical-ai/fine-tuning-%CF%800-pi-zero-for-robotic-manipulation-on-amazon-sagemaker-hyperpod-eks/ - Physical AI 最前線レーダー(各項目に O/R/M、確かめられる数字を抽出)
https://github.com/noteflowai/physical-ai-radar - π0:視覚・言語・行動のフローモデル(arXiv 2410.24164)
https://arxiv.org/abs/2410.24164