「映像を作る」から「操作に応じて変わる世界」へ
NVIDIAは、世界モデル開発基盤「Cosmos」のモデル群に、対話型シミュレーション向けのオープンウェイトモデルを4種類追加しました。いずれもCosmos 3 Nanoを追加学習したもので、学習可能なパラメーターは160億。OpenMDW1.1の条件に従い、商用・非商用で利用できます。
ポイントは、指示に沿った映像を一度生成するだけでなく、操作や直前の観測を受けて次の映像を生成する設計です。研究者や開発者は、現実では集めにくい状況を仮想環境で作り、ロボットや自動運転の制御方針を検討できます。ただし、現実の環境を完全に再現するものではなく、モデルがどの条件で正確に振る舞うかの評価が欠かせません。
自動運転向けはデータ生成と逐次シミュレーション
「Cosmos3-Nano-Transfer-Auto」は、最大11方向のカメラ映像を同期して生成し、LiDAR(レーザーで周囲の形状を測るセンサー)のデータも組み合わせられます。天候や明るさ、交通状況などを変えて学習・評価用データを増やす用途が想定されています。道路や交通の状態は専用の制御情報で指定し、文章の指示で見た目を導きます。
「Cosmos3-Nano-Sim-Auto」は、そのモデルを基にしたストリーミング型です。運転操作と過去に生成した映像を使い、カメラ映像やLiDARを短い区間ごとに続けて生成します。操作に応じた長いシミュレーションに向きますが、制御情報を更新するシミュレーション環境などが別途必要です。新しい車載センサー構成に合わせる場合は、まずTransfer-Autoを自社データで調整し、そこからSim-Autoへ展開する流れが示されています。
シミュレーターやロボット操作と組み合わせる
「Cosmos3-Nano-Sim-Transfer」は、物理シミュレーターが計算した動きや接触などの状態を、深度・領域分け・輪郭といった空間情報を手掛かりに、カラー映像へ変換します。物理状態の計算はシミュレーターが担い、モデルはポリシー(次の操作を決める制御方針)が見る映像を作る役割です。見た目の指示を加えながら、物理状態との整合性を保ちやすい構成です。
一方、「Cosmos3-Nano-Sim-Bimanual」は、両腕ロボットの操作やカメラの移動に応じて、次の観測映像を直接予測します。対応するロボット構成や操作値の形式が定められているため、利用時には座標系や動作の表現、操作と映像の時間対応を合わせる必要があります。物理シミュレーターの状態から映像を作るSim-Transferとは、映像生成の起点が異なります。
試す際は用途と入力データを絞る
4モデルは、文章・制御情報・過去の映像を手掛かりに、短い映像区間を順次生成します。映像を圧縮した内部表現を使い、過去の情報を保持する仕組みも備えています。こうした設計は操作への応答を速める助けになりますが、生成結果の忠実さや長時間の安定性を保証するものではありません。また、実行にはNVIDIA GPUなどの環境が必要です。公開例の動作確認環境は最低要件を示すものではないため、導入前に技術資料を確認しましょう。
今日から試すなら、まず自分の課題を「データを増やす」「操作に応じた映像を作る」「ロボット動作を予測する」のどれかに絞り、対応モデルのサンプルで入力形式と出力を確認するのが実践的です。
参考リンク
Hugging Face:New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。