物理AI实验室 // 第 2.2 集 // 一页纸

用数据训练一只手臂

LeRobot + SO 系列真机数据：把示范变成会抓取的 ACT 策略

三个要点

  1. 模仿学习：给策略看真人示范来学动作，而不是手写规则；输入是画面加关节角，输出是下一步动作。
  2. ACT（动作分块 transformer）一次预测未来一小段动作，模型只有约 8000 万参数，单 GPU 训练约 10 万步、几小时（O，LeRobot 文档）。
  3. 训练用的是 svla_so101_pickplace 数据集里 SO 系列机械臂的真机抓放示范（50 段，O）；真机数据要在真机上评测，换物体、换光照后泛化仍然是难题。

证据：O 官方一手 · R 学术文献 · M 媒体二手

O50 段svla_so101_pickplace 数据集：50 段 SO 系列机械臂真机抓放示范，30 fps、两路相机（meta/info.json；robot_type 为 so100_follower，so101 只见于数据集名）
O6 个位置值构成状态和动作：5 个臂关节 + 1 个夹爪（数据集 meta/info.json 的 observation.state / action 特征名）
O约 8000 万ACT 策略的参数量，轻量、易上手（LeRobot 官方文档）
O50 条示范往往就能让 ACT 达到较高成功率（LeRobot 官方文档的概括说法，非本片实测）
O10 万步训练在单块 GPU 上约需几个小时（LeRobot 官方文档）

延伸阅读