物理AI实验室 // 第 3.1 集 // 一页纸
VLA 拆解 三个模型
视觉编码、语言骨干、动作头
三个要点
- 骨架相同:三个 VLA 都是看图、懂语言,再直接输出动作,内部分成看世界、懂语言、生成动作三块。
- 动作头三种做法:OpenVLA 把动作切成 256 个区间当词元(R);π-zero 用流匹配加动作专家,配合动作分块,控制最高 50 赫兹(R);GR00T N1 的快系统是扩散 transformer,也用流匹配训练,120 赫兹(R)。
- 骨干各不同:OpenVLA=Llama 2 + DINOv2/SigLIP、70 亿参数(R);π-zero=PaliGemma、约 33 亿(R);GR00T N1=Eagle-2(SmolLM2 + SigLIP-2),公开发布的 GR00T-N1-2B,22 亿(R)。名字不代表强弱。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 256 个 | OpenVLA 的动作头:把每个动作维度离散成 256 个区间,当作词元来预测 |
| R | 流匹配 | π-zero 的动作头:在预训练视觉-语言模型上,用流匹配(扩散的变体)生成连续动作 |
| R | 50 赫兹 | π-zero 用动作分块加流匹配,把控制频率最高做到 50 赫兹(论文称,峰值,用于叠衣等灵巧任务) |
| R | 快慢双系统 | GR00T N1 整个模型是双系统:慢系统(System 2,视觉-语言模块)理解,快系统(System 1,扩散 transformer 动作模块)实时出动作 |
| R | 120 赫兹 | GR00T N1 的快系统(扩散 transformer)输出闭环动作,频率高达 120 赫兹(论文) |
| R | 流匹配 | GR00T N1 的快系统(扩散 transformer,DiT)也用流匹配学习生成动作(论文) |
| R | Llama 2 | OpenVLA 语言骨干是 Llama 2;视觉编码器把 DINOv2 与 SigLIP 两套特征融合 |
| R | 70 亿 | OpenVLA 参数量(7B);用约 97 万条真实机器人示范训练(论文) |
| R | PaliGemma | π-zero 的视觉-语言骨干,权重初始化自开源模型 PaliGemma(论文) |
| R | 33 亿 | π-zero 合计约 33 亿参数(30 亿 VLM + 3 亿动作专家,论文) |
| R | Eagle-2 | GR00T N1 用英伟达 Eagle-2 作视觉-语言骨干(论文) |
| R | SmolLM2 + SigLIP-2 | Eagle-2 由 SmolLM2 语言模型和 SigLIP-2 图像编码器微调而来(论文) |
| R | 22 亿 | GR00T-N1-2B 总参数约 22 亿,其中约 13.4 亿在视觉-语言骨干里(论文) |
延伸阅读
- OpenVLA:开源视觉-语言-动作模型(arXiv 2406.09246)
https://arxiv.org/abs/2406.09246 - π0:面向通用机器人控制的流匹配 VLA(arXiv 2410.24164)
https://arxiv.org/abs/2410.24164 - GR00T N1:面向人形机器人的开源基础模型(arXiv 2503.14734)
https://arxiv.org/abs/2503.14734