Physical AI Lab // 第 2.2 話 // 1枚まとめ

データでアームを学習させる

LeRobot + SO シリーズの実機データ：お手本を、つかめる ACT 方策に変える

三つのポイント

  1. 模倣学習：手でルールを書くのではなく、人のお手本を見せて方策に動作を学ばせる。入力は画像と関節角、出力は次の動作。
  2. ACT（動作チャンクのトランスフォーマー）は未来の短いまとまりの動作を一度に予測する。パラメータは約8000万個だけで、GPU一枚で約10万ステップの学習に数時間（O、LeRobot ドキュメント）。
  3. 学習には svla_so101_pickplace データセットの、SO シリーズのアームによる実機のつかんで置くお手本（50本、O）を使う。実機のデータは実機で評価する必要があり、物や光が変わったときの汎化はまだ難しい。

出典：O 公式・一次 · R 学術文献 · M メディア・二次

O50本の実機のお手本を収めた svla_so101_pickplace：SO シリーズのアームのつかんで置く動作50本、30 fps、カメラ二台（meta/info.json の robot_type は so100_follower、so101 はデータセット名のみ）
O6個の位置の値が状態と動作を構成：腕の関節5個＋グリッパー1個（データセットの meta/info.json の特徴名）
O約8000万が ACT 方策のパラメータ数。軽量で扱いやすい（LeRobot 公式ドキュメント）
O50本のお手本だけで、ACT は高い成功率を出すことが多い（LeRobot 公式ドキュメントの概括的な記述で、本動画の実測ではない）
O10万ステップの学習は、GPU一枚で数時間ほど（LeRobot 公式ドキュメント）

さらに読む