物理AI实验室 // 第 3.1 集 // 一页纸

VLA 拆解 三个模型

视觉编码、语言骨干、动作头

三个要点

  1. 骨架相同:三个 VLA 都是看图、懂语言,再直接输出动作,内部分成看世界、懂语言、生成动作三块。
  2. 动作头三种做法:OpenVLA 把动作切成 256 个区间当词元(R);π-zero 用流匹配加动作专家,配合动作分块,控制最高 50 赫兹(R);GR00T N1 的快系统是扩散 transformer,也用流匹配训练,120 赫兹(R)。
  3. 骨干各不同:OpenVLA=Llama 2 + DINOv2/SigLIP、70 亿参数(R);π-zero=PaliGemma、约 33 亿(R);GR00T N1=Eagle-2(SmolLM2 + SigLIP-2),公开发布的 GR00T-N1-2B,22 亿(R)。名字不代表强弱。

证据:O 官方一手 · R 学术文献 · M 媒体二手

R256 个OpenVLA 的动作头:把每个动作维度离散成 256 个区间,当作词元来预测
R流匹配π-zero 的动作头:在预训练视觉-语言模型上,用流匹配(扩散的变体)生成连续动作
R50 赫兹π-zero 用动作分块加流匹配,把控制频率最高做到 50 赫兹(论文称,峰值,用于叠衣等灵巧任务)
R快慢双系统GR00T N1 整个模型是双系统:慢系统(System 2,视觉-语言模块)理解,快系统(System 1,扩散 transformer 动作模块)实时出动作
R120 赫兹GR00T N1 的快系统(扩散 transformer)输出闭环动作,频率高达 120 赫兹(论文)
R流匹配GR00T N1 的快系统(扩散 transformer,DiT)也用流匹配学习生成动作(论文)
RLlama 2OpenVLA 语言骨干是 Llama 2;视觉编码器把 DINOv2 与 SigLIP 两套特征融合
R70 亿OpenVLA 参数量(7B);用约 97 万条真实机器人示范训练(论文)
RPaliGemmaπ-zero 的视觉-语言骨干,权重初始化自开源模型 PaliGemma(论文)
R33 亿π-zero 合计约 33 亿参数(30 亿 VLM + 3 亿动作专家,论文)
REagle-2GR00T N1 用英伟达 Eagle-2 作视觉-语言骨干(论文)
RSmolLM2 + SigLIP-2Eagle-2 由 SmolLM2 语言模型和 SigLIP-2 图像编码器微调而来(论文)
R22 亿GR00T-N1-2B 总参数约 22 亿,其中约 13.4 亿在视觉-语言骨干里(论文)

延伸阅读