物理AI实验室 // 第 3.1 集 // 小测
VLA 拆解 三个模型
视觉编码、语言骨干、动作头
01
一个团队想让双臂机器人叠衣服,需要又快又平滑的连续动作。他们用 OpenVLA 时发现动作跟不上、一顿一顿。按片中的拆解,最该先怀疑哪一块?
动作头:逐个生成词元,难应付高频灵巧的任务
视觉编码器:两套视觉特征拼在一起,把画面看错了
语言骨干:Llama 2 听不懂“叠衣服”这类复杂指令
参数量:70 亿参数太多,推理太慢所以动作跟不上
02
有人说:“π-zero 和 GR00T N1 的动作头都生成连续动作,所以完全是一回事。”按片中的说法,哪句更准确?
对,两者都是把每个动作维度切成 256 个区间再预测
都用流匹配,但 π-zero 挂动作专家,GR00T N1 用快系统 DiT
不对,π-zero 其实用离散词元,只有 GR00T N1 连续生成
对,两者都是快慢双系统,只是两篇论文里的叫法不同
03
为什么流匹配这类连续动作生成,更适合叠衣服这种又快又精细的活?
因为用这类动作头的模型参数更多,动作自然就更细
因为它们不依赖视觉,只靠语言指令就能直接动
动作本是连续量,不必逐个吐词元就能出平滑的一段
因为流匹配只要一步就能出动作,完全没有生成延迟
04
三个模型都没有从零训练看世界和懂语言的部分,而是借用现成的开源模型。片中给的主要理由是什么?
从零训练的模型接不上动作头,没法输出机器人动作
开源许可规定,VLA 必须基于已有的大模型来做
机器人示范数据里没有图像,只能借别人的视觉
借来的模型已认识物体和语义,从零学太贵也太慢
05
你在一台新的双臂机器人上实测三个模型:参数最少的 GR00T N1 反而比 OpenVLA 做得好。最合理的解读是?
合不合适看任务和本体,换了机器人排名可能就变
参数少的模型一定更强,以后都该挑最小的那个
测试多半出错了,参数多的 OpenVLA 理应更强
这证明流匹配动作头在所有任务上都胜过数词元
看答案