Repolode
投稿する
NVIDIA

NVIDIA/cosmos

NVIDIAが提供する、ロボット、自動運転車、スマートインフラ向けのフィジカルAI開発に役立つ基盤モデル、データセット、ツール。

GitHub で見る公式サイト
スター
12,077
フォーク
920
未解決の Issue
67
最終コミット
4 日前

これは何？

NVIDIA Cosmosは、フィジカルAI開発者向けのオープンプラットフォームです。現行のモデルファミリーであるCosmos 3は、2種類のインターフェースを備えたオムニモーダルな世界モデル群です。テキストと画像を入力し、シーン理解やタスク計画に使うテキストを出力するReasonerと、テキスト、画像、音声、アクションを入力し、シミュレーション、未来予測、合成データ生成に使う動画、音声、ロボットアクションを出力するGeneratorがあります。

モデルファミリーは3つのサイズで提供されています。最高品質を実現する64BのSuper、速度と品質のバランスを重視した16BのNano、Jetsonなどのハードウェア上でのオンデバイス・リアルタイム実行向けの4BのEdgeです。テキストから画像、画像から動画への生成や、DROIDのロボットポリシーなど、追加学習済みチェックポイントの例から、追加学習による特化のイメージをつかめます。

このリポジトリには、モデル、実行可能なノートブック、PAIBenchやPhysics-IQなどの評価スイートが含まれています。学習と追加学習は別プロジェクトのCosmos Frameworkで行い、データのキュレーションと出力の評価にはCosmos CuratorとCosmos Evaluatorを使用します。

主な機能

  • 01視覚・テキストの理解、グラウンディング、身体性を伴うタスク計画に対応するReasonerモデル
  • 02マルチモーダル入力から動画、音声、ロボットアクションを生成するGeneratorモデル
  • 034Bのエッジ向けから64Bまで、異なるハードウェア層に対応する3つのモデルサイズ
  • 04生成、転送、アクションポリシー、推論を扱う、実行可能なクックブックノートブック
  • 05PAIBench、Physics-IQ、VLMEvalKitなどの評価スイート
  • 06Diffusers、Transformers、vLLM、SGLang、TensorRT-LLM、NIMで実行可能

ユースケース

  • シミュレーション環境で、自動運転やロボットの学習用合成動画を生成する
  • Jetsonなどのエッジハードウェアでロボットの操作ポリシーを実行する
  • 身体性を伴うアプリケーション向けに、OpenAI互換の視覚推論APIを提供する
  • 標準的な物理・品質ベンチマークで世界モデルの出力を評価する

クイックスタート

  1. 1

    Python 3.13 の仮想環境を作成して有効化する

    uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate
  2. 2

    uv を使って必要なパッケージをインストールする

    uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers
  3. 3

    アクセス制限のある Guardrail リポジトリにアクセスするため、Hugging Face にログインする（先にアクセスを申請してください）

    uvx hf@latest auth login
  4. 4

    README の Python サンプルを実行して、最初の動画を生成する

使う前に知っておきたいこと

  • コードを実行する前に、アクセス制限のある nvidia/Cosmos-1.0-Guardrail リポジトリへのアクセスを申請し、承認を受ける必要があります。
  • Nano チェックポイントは 16B パラメータで、RTX Pro 6000、H100、B200 などのハイエンド GPU が必要です。
  • ソースコードとモデルは OpenMDW-1.1 ライセンスを使用しています。NVIDIA に問い合わせると、カスタムライセンスを利用できます。

トピック

#world-model#physical-ai#robotics#autonomous-driving#video-generation#multimodal#vision-language-model#simulation

よくある質問

cosmos とは？
NVIDIAが提供する、ロボット、自動運転車、スマートインフラ向けのフィジカルAI開発に役立つ基盤モデル、データセット、ツール。 NVIDIA Cosmosは、フィジカルAI開発者向けのオープンプラットフォームです。現行のモデルファミリーであるCosmos 3は、2種類のインターフェースを備えたオムニモーダルな世界モデル群です。テキストと画像を入力し、シーン理解やタスク計画に使うテキストを出力するReasonerと、テキスト、画像、音声、アクションを入力し、シミュレーション、未来予測、合成データ生成に使う動画、音声、ロボットアクションを出力するGeneratorがあります。
cosmos は無料で使えますか？ライセンスは？
cosmos は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
cosmos は今もメンテナンスされていますか？
活発にメンテナンス中。cosmos の最終コミットは 2026年10月16日 です。
cosmos は何に使えますか？
シミュレーション環境で、自動運転やロボットの学習用合成動画を生成する Jetsonなどのエッジハードウェアでロボットの操作ポリシーを実行する 身体性を伴うアプリケーション向けに、OpenAI互換の視覚推論APIを提供する 標準的な物理・品質ベンチマークで世界モデルの出力を評価する
cosmos のインストール方法は？
Python 3.13 の仮想環境を作成して有効化する: uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate uv を使って必要なパッケージをインストールする: uv pip install --torch-backend=auto "diffusers @ git+https://github.com/huggingface/diffusers.git" accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg torch torchvision transformers アクセス制限のある Guardrail リポジトリにアクセスするため、Hugging Face にログインする（先にアクセスを申請してください）: uvx hf@latest auth login README の Python サンプルを実行して、最初の動画を生成する
cosmos はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/cosmos

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト