Physical AI Lab // 第 3.2 話 // 小テスト
世界モデル:コスモスでデータをつくる
未来を生成する(Predict)と、スタイルを移す(Transfer)
01
動画での「世界モデル」の定義に最も近いのはどれですか?
過去の映像と一つの動作を与えると、次の瞬間の様子を予測するもの
人が書いた物理のルールに従って映像を描くエンジン
動画を短い記号の列に圧縮する動画トークナイザー
いくつかの動作を試しに流して、いちばんよいものを選ぶプランナー
02
シミュレーションで描いたセグメンテーション画像と深度画像があり、見るからに作り物っぽい映像です。これを本物らしい学習用の映像に変えるには、どのツールを使いますか?
Cosmos Predict:最初のフレームを与えて、その先に続く映像を予測させる
Cosmos Transfer:セグメンテーションや深度から本物らしい映像を作る
動画トークナイザー:シミュレーションの映像を記号に圧縮し、復元すれば本物らしくなる
ガードレール:本物らしくない映像を先に止め、本物らしいものだけ残す
03
「Cosmos はロボットのタスクで 78.3% を出した」と引いて、ロボットのタスク成功率が八割近くになると主張する人がいます。どこがおかしいですか?
数字の覚え違いで、論文のこの項目は実は 13.0% だ
78.3% はシミュレーション内の物理の正確さで、現実の場面のものではない
78.3% は人の評価者の総合的な好みで、ロボットのタスク成功率ではない
78.3% は最上位のラックで測ったピークで、ふだんの構成ではずっと低い
04
生成した動画でデータを増やしたあと、一コマずつ確かめると、コップが途中でふっと消え、少しして突然また現れていました。これは何を意味し、どう扱うべきですか?
動画トークナイザーの圧縮が強すぎたので、ビットレートを上げて作り直せば二度と起きない
世界モデルによくある物理の不整合なので、失敗リストに記録し、正解として使わない
プロンプトが足りないので、説明を補えば物理の正しさが保証される
下流の方策がすでに悪く学習しているので、まず方策を学習し直す
05
世界モデルで学習データを生成することについて、動画の位置づけを最もよく表しているのは?
映像が十分に本物らしくなれば、そのまま正解として使い、実機の収集はいらない
おもに自動運転向けで、ロボットの操作にはほとんど役立たない
計算資源が十分でリアルタイムに生成できれば、物理の不整合は消える
データの増幅器:安くて多様で、実機は節約できるが、確認は省けない
答えを見る