Repolode
Tencent-Hunyuan

Tencent-Hunyuan/Hunyuan-GameCraft-1.0

参照画像とキーボードやマウスの入力から、操作可能なゲーム風動画を生成するオープンソースモデル。

スター
760
フォーク
78
未解決の Issue
19
最終コミット
11 か月前

これは何?

Hunyuan-GameCraftは、Tencent Hunyuanが開発した、インタラクティブなゲーム映像を対象とする動画生成モデルです。参照画像とテキストプロンプトに加え、W、A、S、Dなどのキーボードやマウスの操作列を与えると、それらのカメラ移動に沿った動画を生成します。キーボードとマウスの入力は共通のカメラ表現空間にマッピングされるため、動きを滑らかに補間できます。

このプロジェクトは、動画の長尺化を目的としています。ハイブリッドな履歴条件付け学習方式を採用し、以前のフレームのシーン情報を保ちながら、系列を自己回帰的に延長します。また、推論ステップ数を50から8に減らし、生成を高速化するFP8にも対応した蒸留版も提供されています。

リポジトリには、CUDAを使ったLinux上でのマルチGPU並列生成用推論スクリプト、CPUオフロードを利用する低VRAMのシングルGPUモード、分散推論APIをバックエンドとするGradio Webインターフェースが含まれています。モデルの重みはHugging Faceで公開されています。

主な機能

  • 01キーボードやマウスの操作を共通のカメラ空間にマッピングし、細かな制御を可能にします。
  • 02ハイブリッドな履歴条件付けを使い、動画を自己回帰的に延長します。
  • 03推論ステップ数がわずか8回の蒸留モデルを提供します。
  • 04FP8最適化とSageAttentionに対応しています。
  • 05CPUオフロードを利用する低VRAMのシングルGPUモードを提供します。
  • 06分散推論APIを備えたGradio Webインターフェースが含まれています。

ユースケース

  • ゲーム向けの、操作条件付き動画生成に関する研究。
  • 1枚のコンセプト画像と動作入力からゲーム風の動画クリップを試作。
  • マルチGPU搭載のLinuxサーバーで、長時間動画の延長を試す。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git
  2. 2

    conda環境を作成する

    conda create -n HYGameCraft python==3.10
  3. 3

    PyTorchとpipの依存関係をインストールする

    python -m pip install -r requirements.txt
  4. 4

    事前学習済みモデルの重みをダウンロードする(weights/README.mdを参照)

  5. 5

    GradioのWebインターフェースを起動する

    bash scripts/launch_app_sp.sh

使う前に知っておきたいこと

  • CUDA対応のNVIDIA GPUが必要です。GPUメモリは最低24GB、80GB推奨です。
  • Linuxでのみテストされています。
  • VRAMが少ない環境での推論は非常に遅くなります。
  • 推論時間はアクションの長さに比例して増加します。

トピック

よくある質問

Hunyuan-GameCraft-1.0 とは?
参照画像とキーボードやマウスの入力から、操作可能なゲーム風動画を生成するオープンソースモデル。 Hunyuan-GameCraftは、Tencent Hunyuanが開発した、インタラクティブなゲーム映像を対象とする動画生成モデルです。参照画像とテキストプロンプトに加え、W、A、S、Dなどのキーボードやマウスの操作列を与えると、それらのカメラ移動に沿った動画を生成します。キーボードとマウスの入力は共通のカメラ表現空間にマッピングされるため、動きを滑らかに補間できます。
Hunyuan-GameCraft-1.0 は無料で使えますか?ライセンスは?
Hunyuan-GameCraft-1.0 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Hunyuan-GameCraft-1.0 は今もメンテナンスされていますか?
半年以上コミットなし。Hunyuan-GameCraft-1.0 の最終コミットは 2025年11月28日 です。
Hunyuan-GameCraft-1.0 は何に使えますか?
ゲーム向けの、操作条件付き動画生成に関する研究。 1枚のコンセプト画像と動作入力からゲーム風の動画クリップを試作。 マルチGPU搭載のLinuxサーバーで、長時間動画の延長を試す。
Hunyuan-GameCraft-1.0 のインストール方法は?
リポジトリをクローンする: git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git conda環境を作成する: conda create -n HYGameCraft python==3.10 PyTorchとpipの依存関係をインストールする: python -m pip install -r requirements.txt 事前学習済みモデルの重みをダウンロードする(weights/README.mdを参照) GradioのWebインターフェースを起動する: bash scripts/launch_app_sp.sh
Hunyuan-GameCraft-1.0 はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト