Physical AI Lab // 第 3.1 話 // 1枚まとめ
VLAを分解: 三つのモデル
視覚エンコーダー、言語バックボーン、行動ヘッド
三つのポイント
- 骨組みは同じ:三つの VLA はどれも画像を見て、言語を理解し、動作を直接出力する。中身は、世界を見る・言語を理解する・動作を生成する、の三ブロック。
- 行動ヘッドの三つのやり方:OpenVLA は動作を256区間に分けてトークンに(R)。π-zero はフローマッチングと行動エキスパートで、動作のチャンク化とあわせて制御は最大50ヘルツ(R)。GR00T N1 の速い系は拡散トランスフォーマーで、これもフローマッチングで学習し、120ヘルツ(R)。
- バックボーンはそれぞれ違う:OpenVLA = Llama 2 + DINOv2/SigLIP、70億パラメータ(R)。π-zero = PaliGemma、約33億(R)。GR00T N1 = Eagle-2(SmolLM2 + SigLIP-2)、公開された GR00T-N1-2B は22億(R)。名前は強さを示さない。
出典:O 公式・一次 · R 学術文献 · M メディア・二次
| R | 256個 | の区間。OpenVLA の行動ヘッドは、動作の各次元を256区間に離散化し、トークンとして予測する |
| R | フローマッチング | π-zero の行動ヘッド:事前学習済みの視覚・言語モデルの上で、フローマッチング(拡散の一種)により連続動作を生成 |
| R | 50ヘルツ | π-zero は動作のチャンク化とフローマッチングで、制御周波数を最大50ヘルツに(論文による。ピーク値、洗濯物たたみなどの器用な作業向け) |
| R | 速い系と遅い系 | GR00T N1 はモデル全体が二重システム:遅い系 System 2(視覚・言語モジュール)が理解し、速い系 System 1(拡散トランスフォーマーの動作モジュール)がリアルタイムに動作を出す |
| R | 120ヘルツ | GR00T N1 の速い系(拡散トランスフォーマー)は閉ループの動作を最大120ヘルツで出力(論文) |
| R | フローマッチング | GR00T N1 の速い系(拡散トランスフォーマー、DiT)も、フローマッチングで動作の生成を学習する(論文) |
| R | Llama 2 | OpenVLA の言語バックボーンは Llama 2。視覚エンコーダは DINOv2 と SigLIP の二組の特徴を融合 |
| R | 70億 | 個の OpenVLA のパラメータ(7B)。約97万件の実際のロボットの実演で学習(論文) |
| R | PaliGemma | が π-zero の視覚・言語バックボーン。重みはこのオープンモデルから初期化(論文) |
| R | 33億 | π-zero の合計パラメータは約33億(30億の VLM + 3億の行動エキスパート、論文) |
| R | Eagle-2 | GR00T N1 はエヌビディアの Eagle-2 を視覚・言語バックボーンに使う(論文) |
| R | SmolLM2 + SigLIP-2 | Eagle-2 は SmolLM2 言語モデルと SigLIP-2 画像エンコーダを微調整したもの(論文) |
| R | 22億 | GR00T-N1-2B の総パラメータは約22億、うち約13.4億が視覚・言語バックボーン(論文) |
さらに読む
- OpenVLA:オープンな視覚・言語・行動モデル(arXiv 2406.09246)
https://arxiv.org/abs/2406.09246 - π0:汎用ロボット制御のためのフローマッチング VLA(arXiv 2410.24164)
https://arxiv.org/abs/2410.24164 - GR00T N1:人型ロボットのためのオープン基盤モデル(arXiv 2503.14734)
https://arxiv.org/abs/2503.14734