物理AI实验室 // 第 0.3 集 // 一页纸
看-想-动
把一台机器人的一秒钟,慢放给你看
三个要点
- 看:既看外面的画面(某公开数据集每秒 15 帧,R),也“看自己”——手的位置和姿态(本体感觉)。
- 想:分快慢两套——慢的想清楚、拆任务,快的出动作(英伟达 GR00T N1.7,O);一篇论文里每走完 25 步、约每半秒重想一次(π0,R)。
- 动:最底层的控制以每秒一千次收发指令(某公司 FCI,1 千赫兹,O),便于及时微调。要又快又准,还差得远。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 15 帧/秒 | 一个公开机器人数据集的记录频率(画面与动作都按每秒 15 次记录) |
| O | 快慢两套 | 开放人形机器人模型 GR00T N1.7 的双系统结构:高层推理与底层动作分开 |
| R | 25 步 / 半秒 | π0 在 50 赫兹的机器人上,每执行 25 步动作、约每 0.5 秒重新推理一次(论文) |
| O | 1,000 次/秒 | 一家机器人公司的控制接口(FCI)以 1 千赫兹收发底层控制指令 |
延伸阅读
- DROID:大规模真实机器人操作数据集(arXiv 2403.12945)
https://arxiv.org/abs/2403.12945 - π0:面向通用机器人控制的视觉-语言-动作流模型(arXiv 2410.24164)
https://arxiv.org/abs/2410.24164 - NVIDIA GR00T N1.7(Hugging Face 博客)
https://huggingface.co/blog/nvidia/gr00t-n1-7 - Franka Control Interface(1 kHz 实时控制)
https://franka.de/tmr