物理AI实验室 // 第 3.2 集 // 一页纸
世界模型 用 Cosmos 造数据
生成未来(Predict)与迁移风格(Transfer)
三个要点
- 世界模型是世界的数字孪生:给过去的画面加一个动作,预测下一刻;靠海量视频训练(约 2000 万小时、1 亿片段,R)。
- Cosmos Predict 顺着往下生成视频(扩散 7B/14B + 自回归;一万块 H100 训练三个月,R;机器人指令预测人类偏好 78.3%,R);论文列出它可能用于评测、规划、训练策略,但尚未给出这些用法的实验结果。
- Cosmos Transfer 用分割/深度/边缘做条件生成与 world-to-world 迁移、sim2real(顶配机架可实时,R);但逼真不等于正确物理。
证据:O 官方一手 · R 学术文献 · M 媒体二手
| R | 2000 万小时 | Cosmos 预训练用的原始视频量;从中切出约 1 亿个片段(英伟达) |
| R | 70 亿 / 140 亿 | Cosmos-Predict1 扩散世界模型的两个规模(另有自回归 40 亿、120 亿,英伟达) |
| R | 1 万块 H100 | 训练论文里全部世界基础模型用的 GPU 集群,历时三个月(英伟达) |
| R | 78.3% | 机器人指令视频预测里,人类评审对 Cosmos-Predict 微调模型的总体偏好(对比基线 13.0%,英伟达) |
| R | 分割·深度·边缘 | Cosmos-Transfer 用分割、深度、边缘等空间控制输入生成世界(英伟达) |
| R | 实时(顶配机架) | 用一台 NVIDIA GB200 NVL72 机架做到实时世界生成(英伟达,峰值配置) |
延伸阅读
- Cosmos World Foundation Model Platform(arXiv 2501.03575)
https://arxiv.org/abs/2501.03575 - Cosmos-Transfer1:自适应多模态控制的条件世界生成(arXiv 2503.14492)
https://arxiv.org/abs/2503.14492 - NVIDIA Cosmos(开源仓库与权重)
https://github.com/nvidia-cosmos/cosmos-predict1