Repolode
投稿する
NVIDIA

NVIDIA/cosmos-framework

NVIDIAのCosmos3オムニモーダル世界モデル向けの学習・推論フレームワーク。分散学習、複数の推論バックエンド、RLによる学習後の追加調整に対応。

GitHub で見る公式サイト
スター
618
フォーク
204
未解決の Issue
50
最終コミット
19 時間前

これは何？

Cosmos-Frameworkは、言語、画像、動画、音声、アクション系列を一体的に処理するCosmos3ファミリーのオムニモーダル世界モデルを学習・サービングするためのNVIDIAのコードベースです。コードは単一のPythonパッケージcosmos_frameworkに集約されており、学習と推論それぞれに専用のエントリーポイントがあります。

学習機能では、FSDP、テンソル並列、コンテキスト並列、パイプライン並列を利用する分散トレーナーを提供します。分散チェックポイント、HuggingFace safetensorsのインポートとエクスポート、JSONL、WebDataset、LeRobot形式向けのデータセットアダプターにも対応しています。推論では、オフラインのバッチ生成とRayおよびGradioを使ったオンラインサービング向けに、Diffusers、Transformers、vLLMのバックエンドを利用できます。Cosmos3ポリシーをデプロイするためのサーバー・クライアント型パイプラインも含まれています。

リポジトリには学習後の追加調整モジュールも含まれており、SFT、DPO、GRPO、PPO、オンポリシー蒸留、拡散モデル向けのDiffusionNFTを扱います。また、QwenやGR00TなどのHugging Faceモデルとの統合にも対応しています。

主な機能

  • 01FSDP、テンソル並列、コンテキスト並列、パイプライン並列による分散学習。
  • 02HuggingFace safetensorsのインポートとエクスポートに対応したネイティブチェックポイント。
  • 03JSONL、WebDataset、LeRobot形式向けのデータセットアダプター。
  • 04Diffusers、Transformers、vLLMのバックエンドによるオフラインのバッチ推論とオンラインサービング。
  • 05SFT、DPO、GRPO、PPO、蒸留などの学習後の追加調整アルゴリズム。

ユースケース

  • 独自の動画データやロボットデータを使ったCosmos3世界モデルのファインチューニング。
  • サーバー・クライアント型パイプラインを通じた、ロボット制御向けCosmos3ポリシーのサービング。
  • QwenやGR00Tモデルを使ったマルチGPU強化学習や蒸留の実行。

クイックスタート

  1. 1

    システム依存関係をインストールする

    sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget
  2. 2

    uvでパッケージをインストールする（CUDA 13.0を推奨）

    uv sync --all-extras --group=cu130-train
  3. 3

    仮想環境を有効化する

    source .venv/bin/activate
  4. 4

    ダウンロードしたCosmos3-Nanoチェックポイントで単一GPU推論を実行する

    python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0

使う前に知っておきたいこと

  • 学習レシピは8基のH100 80 GB GPUでテストされているため、大規模なGPUハードウェアが必要です。
  • CUDAドライバーを備えたNVIDIA GPUと、特定のuvバージョン（0.11.29）が必要です。
  • セットアップにはモデルの重みのダウンロードとCUDA環境の設定が含まれ、複雑になる場合があります。

収録されている特集

強化学習のフレームワークと学習環境ロボティクス・身体性AIプロジェクト

トピック

#world-model#training#inference#distributed-training#diffusion#robotics#reinforcement-learning

よくある質問

cosmos-framework とは？
NVIDIAのCosmos3オムニモーダル世界モデル向けの学習・推論フレームワーク。分散学習、複数の推論バックエンド、RLによる学習後の追加調整に対応。 Cosmos-Frameworkは、言語、画像、動画、音声、アクション系列を一体的に処理するCosmos3ファミリーのオムニモーダル世界モデルを学習・サービングするためのNVIDIAのコードベースです。コードは単一のPythonパッケージcosmos_frameworkに集約されており、学習と推論それぞれに専用のエントリーポイントがあります。
cosmos-framework は無料で使えますか？ライセンスは？
cosmos-framework は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
cosmos-framework は今もメンテナンスされていますか？
活発にメンテナンス中。cosmos-framework の最終コミットは 2026年11月6日 です。
cosmos-framework は何に使えますか？
独自の動画データやロボットデータを使ったCosmos3世界モデルのファインチューニング。 サーバー・クライアント型パイプラインを通じた、ロボット制御向けCosmos3ポリシーのサービング。 QwenやGR00Tモデルを使ったマルチGPU強化学習や蒸留の実行。
cosmos-framework のインストール方法は？
システム依存関係をインストールする: sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libgl1 libglib2.0-0 libx11-dev tree wget uvでパッケージをインストールする（CUDA 13.0を推奨）: uv sync --all-extras --group=cu130-train 仮想環境を有効化する: source .venv/bin/activate ダウンロードしたCosmos3-Nanoチェックポイントで単一GPU推論を実行する: python -m cosmos_framework.scripts.inference --parallelism-preset=latency -i "inputs/omni/t2v.json" -o outputs/omni_nano --checkpoint-path Cosmos3-Nano --seed=0
cosmos-framework はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/cosmos-framework

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト