物理AI实验室 // 第 2.6 集 // 一页纸
上边缘:量化、延迟与控制频率
模型多快,机器人才能多快地纠错
三个要点
- 延迟决定控制频率的上限:最高频率 = 1 / 单次推理时延。一篇论文称,1 kHz 是其实时控制所必需、也是安全标准要求的最低频率(R);一个大模型实测约每秒重规划五次(O,亚马逊,H100)。
- 量化最稳的收益是省体积:int8 把模型缩到约四分之一(O,PyTorch);提速取决于硬件与模型,必须实测(本集 Notebook 在 CPU 上量化后反而更慢)。
- 慢规划配快控制,用动作分块解耦;边缘模组在约一百三十瓦内即可跑最新模型(O,英伟达)。延迟只能被管理,不会消失。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 1 kHz | 论文称:维持 1 kHz 是实时控制所必需,也是安全标准要求的最低频率(针对该文的 Franka 多臂实时控制框架) |
| O | ≈5 Hz | 亚马逊实测:π0 在 H100 上、ODE 只解 1 步时,生成一包动作不到 200 毫秒,约可每秒重规划 5 次(单一模型与硬件条件) |
| O | 4× | int8 量化把模型体积缩到约四分之一(PyTorch 官方博客;提速另计,视硬件与模型) |
| O | 2–3× | int8 推理提速的官方参考值;实际取决于硬件、后端与模型(PyTorch 官方博客) |
| O | 130 瓦 | 机器人边缘计算模组在此功耗内可跑最新 AI 模型;峰值 2,070 万亿次/秒(英伟达,FP4) |
延伸阅读
- PyTorch · Introduction to Quantization on PyTorch
https://pytorch.org/blog/introduction-to-quantization-on-pytorch/ - multipanda_ros2:1 kHz 实时多臂控制(arXiv 2602.02269)
https://arxiv.org/abs/2602.02269 - AWS · Fine-Tuning π0 on SageMaker HyperPod EKS(约 5 Hz 重规划)
https://aws.amazon.com/blogs/physical-ai/fine-tuning-%CF%800-pi-zero-for-robotic-manipulation-on-amazon-sagemaker-hyperpod-eks/ - NVIDIA · Jetson Thor Now Available(2025-08-25)
https://nvidianews.nvidia.com/news/nvidia-blackwell-powered-jetson-thor-now-available-accelerating-the-age-of-general-robotics