テキスト・画像・音声からの動画生成やキャラクターアニメーションに対応した、大規模なオープンソース動画生成モデル。
Tencent-Hunyuan/Hunyuan-GameCraft-1.0
参照画像とキーボードやマウスの入力から、操作可能なゲーム風動画を生成するオープンソースモデル。
- スター
- 760
- フォーク
- 78
- 未解決の Issue
- 19
- 最終コミット
- 11 か月前
これは何?
Hunyuan-GameCraftは、Tencent Hunyuanが開発した、インタラクティブなゲーム映像を対象とする動画生成モデルです。参照画像とテキストプロンプトに加え、W、A、S、Dなどのキーボードやマウスの操作列を与えると、それらのカメラ移動に沿った動画を生成します。キーボードとマウスの入力は共通のカメラ表現空間にマッピングされるため、動きを滑らかに補間できます。
このプロジェクトは、動画の長尺化を目的としています。ハイブリッドな履歴条件付け学習方式を採用し、以前のフレームのシーン情報を保ちながら、系列を自己回帰的に延長します。また、推論ステップ数を50から8に減らし、生成を高速化するFP8にも対応した蒸留版も提供されています。
リポジトリには、CUDAを使ったLinux上でのマルチGPU並列生成用推論スクリプト、CPUオフロードを利用する低VRAMのシングルGPUモード、分散推論APIをバックエンドとするGradio Webインターフェースが含まれています。モデルの重みはHugging Faceで公開されています。
主な機能
- 01キーボードやマウスの操作を共通のカメラ空間にマッピングし、細かな制御を可能にします。
- 02ハイブリッドな履歴条件付けを使い、動画を自己回帰的に延長します。
- 03推論ステップ数がわずか8回の蒸留モデルを提供します。
- 04FP8最適化とSageAttentionに対応しています。
- 05CPUオフロードを利用する低VRAMのシングルGPUモードを提供します。
- 06分散推論APIを備えたGradio Webインターフェースが含まれています。
ユースケース
- ゲーム向けの、操作条件付き動画生成に関する研究。
- 1枚のコンセプト画像と動作入力からゲーム風の動画クリップを試作。
- マルチGPU搭載のLinuxサーバーで、長時間動画の延長を試す。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git - 2
conda環境を作成する
conda create -n HYGameCraft python==3.10 - 3
PyTorchとpipの依存関係をインストールする
python -m pip install -r requirements.txt - 4
事前学習済みモデルの重みをダウンロードする(weights/README.mdを参照)
- 5
GradioのWebインターフェースを起動する
bash scripts/launch_app_sp.sh
使う前に知っておきたいこと
- CUDA対応のNVIDIA GPUが必要です。GPUメモリは最低24GB、80GB推奨です。
- Linuxでのみテストされています。
- VRAMが少ない環境での推論は非常に遅くなります。
- 推論時間はアクションの長さに比例して増加します。
トピック
よくある質問
- Hunyuan-GameCraft-1.0 とは?
- 参照画像とキーボードやマウスの入力から、操作可能なゲーム風動画を生成するオープンソースモデル。 Hunyuan-GameCraftは、Tencent Hunyuanが開発した、インタラクティブなゲーム映像を対象とする動画生成モデルです。参照画像とテキストプロンプトに加え、W、A、S、Dなどのキーボードやマウスの操作列を与えると、それらのカメラ移動に沿った動画を生成します。キーボードとマウスの入力は共通のカメラ表現空間にマッピングされるため、動きを滑らかに補間できます。
- Hunyuan-GameCraft-1.0 は無料で使えますか?ライセンスは?
- Hunyuan-GameCraft-1.0 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Hunyuan-GameCraft-1.0 は今もメンテナンスされていますか?
- 半年以上コミットなし。Hunyuan-GameCraft-1.0 の最終コミットは 2025年11月28日 です。
- Hunyuan-GameCraft-1.0 は何に使えますか?
- ゲーム向けの、操作条件付き動画生成に関する研究。 1枚のコンセプト画像と動作入力からゲーム風の動画クリップを試作。 マルチGPU搭載のLinuxサーバーで、長時間動画の延長を試す。
- Hunyuan-GameCraft-1.0 のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git conda環境を作成する: conda create -n HYGameCraft python==3.10 PyTorchとpipの依存関係をインストールする: python -m pip install -r requirements.txt 事前学習済みモデルの重みをダウンロードする(weights/README.mdを参照) GradioのWebインターフェースを起動する: bash scripts/launch_app_sp.sh
- Hunyuan-GameCraft-1.0 はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ストリーミングニューラルレンダリングで、低ポリゴンのフレームからプレイ可能なゲームシーンを生成するオープンソースのインタラクティブなワールドモデル。
14B拡散モデルを基盤に、ストリーミングで長さ無制限の音声駆動アバター動画を生成するオープンソース研究フレームワーク。
Stable Diffusionや新しい画像・動画モデルを実行できる、モデル対応と最適化を強化したForge派生のGradio製Web UI。
音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。
低VRAMでの推論・学習に対応した、画像・動画・音声生成向けのオープンソースDiffusionモデルエンジン。