Physical AI Lab // 第 3.1 話 // 小テスト
VLAを分解: 三つのモデル
視覚エンコーダー、言語バックボーン、行動ヘッド
01
あるチームが双腕ロボットに服をたたませたいと考えています。速くてなめらかな連続動作が必要ですが、OpenVLA では動作が追いつかず、カクカクします。動画の分解に従うと、まずどの部分を疑うべきですか?
行動ヘッド:トークンを一つずつ出すので、高周波で器用さが要る作業が苦手
視覚エンコーダー:二種類の視覚特徴を組み合わせたせいで画面を見誤った
言語バックボーン:Llama 2 では「服をたたむ」のような複雑な指示が分からない
パラメータ数:70億は多すぎて推論が遅く、動作が追いつかない
02
「π-zero と GR00T N1 の行動ヘッドはどちらも連続した動作を出すので、まったく同じだ」という人がいます。動画に照らして、より正確なのは?
そのとおり。どちらも動作の各次元を256区間に切って予測する
どちらもフローマッチング。π-zero はエキスパート、GR00T N1 は速い系の DiT
違う。π-zero は実は離散トークンで、連続生成は GR00T N1 だけ
そのとおり。どちらも速い系と遅い系のデュアルシステムで、論文での呼び名が違うだけ
03
フローマッチングのような連続動作の生成が、服をたたむような速くて細かい作業に向いているのはなぜですか?
こうした行動ヘッドを使うモデルはパラメータが多く、そのぶん動作も細かくなるから
視覚にはほとんど頼らず、言語の指示だけで直接動けるから
動作はもともと連続量なので、なめらかな一続きを一度に出せるから
フローマッチングは一回で動作を出せるので、生成の遅れがまったくないから
04
三つのモデルはどれも、世界を見る部分と言語の部分をゼロから学習せず、既存のオープンモデルを借りています。動画が挙げたおもな理由は?
ゼロから学習したモデルは行動ヘッドにつながらず、動作を出せないから
オープンソースのライセンスで、既存の大規模モデルを土台にするよう決められているから
ロボットのお手本データには画像がなく、視覚を借りるしかないから
借りたモデルはすでに物や意味を知っていて、ゼロから学ぶのは高くて遅すぎるから
05
新しい双腕ロボットで三つのモデルを試したところ、パラメータが最も少ない GR00T N1 が OpenVLA よりよい結果を出しました。最も妥当な読み方は?
向き不向きはタスクと機体しだいで、別のロボットなら順位は変わりうる
パラメータが少ないモデルのほうが必ず強いので、いつも最小のものを選ぶべき
テストが間違っている。パラメータの多い OpenVLA が勝つはずだ
フローマッチングの行動ヘッドが、すべてのタスクでトークン方式に勝つと証明された
答えを見る