物理AI实验室 // 第 2.6 集 // 一页纸

上边缘:量化、延迟与控制频率

模型多快,机器人才能多快地纠错

三个要点

  1. 延迟决定控制频率的上限:最高频率 = 1 / 单次推理时延。一篇论文称,1 kHz 是其实时控制所必需、也是安全标准要求的最低频率(R);一个大模型实测约每秒重规划五次(O,亚马逊,H100)。
  2. 量化最稳的收益是省体积:int8 把模型缩到约四分之一(O,PyTorch);提速取决于硬件与模型,必须实测(本集 Notebook 在 CPU 上量化后反而更慢)。
  3. 慢规划配快控制,用动作分块解耦;边缘模组在约一百三十瓦内即可跑最新模型(O,英伟达)。延迟只能被管理,不会消失。

证据:O 官方一手 · R 学术文献 · M 媒体二手

R1 kHz论文称:维持 1 kHz 是实时控制所必需,也是安全标准要求的最低频率(针对该文的 Franka 多臂实时控制框架)
O≈5 Hz亚马逊实测:π0 在 H100 上、ODE 只解 1 步时,生成一包动作不到 200 毫秒,约可每秒重规划 5 次(单一模型与硬件条件)
O4×int8 量化把模型体积缩到约四分之一(PyTorch 官方博客;提速另计,视硬件与模型)
O2–3×int8 推理提速的官方参考值;实际取决于硬件、后端与模型(PyTorch 官方博客)
O130 瓦机器人边缘计算模组在此功耗内可跑最新 AI 模型;峰值 2,070 万亿次/秒(英伟达,FP4)

延伸阅读