Physical AI Lab // 第 1.5 話 // 1枚まとめ
データはどこから来る？
遠隔操作、人の映像、合成。三つの入手ルート
三つのポイント
- 遠隔操作：人がロボットを遠隔で操ってお手本を示す（主従二本のアームがよく使われる）。動作はいちばんきれいだが、遅くて高い。SO-101 のピック・アンド・プレースのデータセットは50本、各2台のカメラ、毎秒30フレーム（O）。機関をまたいで大きなデータセットにまとめることもできる（Open X-Embodiment、22種類のロボット、527スキル、R）。
- 人の映像：人の作業を直接見るので、量ははるかに多い（EgoScale は20,854時間の一人称視点映像を使用、R）。ただし人の手はロボットの手ではなく（embodiment gap）、対応付けとラベル付けが必要。
- 合成：シミュレーションの中で、少数の本物のお手本を大量に増やす（MimicGen、約200本→5万本以上、18タスク、R）。柔軟で安いが、本物らしさが崩れないよう注意。データは多いだけでなく、多様であることが大事。
出典：O 公式・一次 · R 学術文献 · M メディア・二次
| O | 50本 | SO-101 ピック・アンド・プレース遠隔操作データセットのお手本数。各2台のカメラ、毎秒30フレーム、計11939フレーム（LeRobot） |
| R | 22種類 | のロボットのデータを一つのデータセットに（21機関、527スキル） |
| R | 20,854時間 | 動作ラベル付きの一人称視点の人の映像で、ロボットを事前学習（論文によれば従来の20倍以上、休まず約2.4年分） |
| R | 5万本以上 | 約200本の人のお手本から自動生成したお手本の数（18タスク、シミュレーション内、論文） |
さらに読む
- LeRobot · SO-101 ピック・アンド・プレースのデータセット（svla_so101_pickplace）
https://huggingface.co/datasets/lerobot/svla_so101_pickplace - Open X-Embodiment（arXiv 2310.08864）
https://arxiv.org/abs/2310.08864 - EgoScale：大規模な一人称視点の人のデータ（arXiv 2602.16710）
https://arxiv.org/abs/2602.16710 - MimicGen：少数の人のお手本からデータを増やす（arXiv 2310.17596）
https://arxiv.org/abs/2310.17596