Repolode
aigc-apps

aigc-apps/VideoX-Fun

Diffusion Transformerモデル向けの動画生成フレームワーク。さまざまな解像度や画像から動画を生成でき、ベースモデルとLoRAモデルの学習にも対応します。

代替できる製品:RunwayPika

スター
2,311
フォーク
197
未解決の Issue
132
最終コミット
一昨日

これは何?

VideoX-Funは、Diffusion TransformerモデルでAI画像や動画を生成するためのパイプラインです。事前学習済みのベースモデルを使い、解像度、長さ、フレームレートを変えて動画を生成できるほか、特定のスタイル変換に向けた独自のベースモデルやLoRAモデルも学習できます。

CogVideoX-Fun、Wan2.1、Wan2.2とそれぞれのFunバリアントなど、複数のモデルファミリーに対応しています。テキストからの動画生成、画像からの動画生成、動画から動画への変換に加え、Canny、Pose、Depthの条件を使った制御生成などを行えます。推論にはPythonスクリプト、GradioのWeb UI、ComfyUIノードを利用でき、CPUオフロードやfloat8量子化など、一般向けGPU用のVRAM節約オプションも用意されています。

学習スクリプトでは、JSONでインデックス化された画像・動画データセットの前処理に加え、各対応モデルのベースモデル、LoRA、制御モデルの学習を行えます。xfuserを使ったマルチGPU推論にも対応しており、Ulyssesおよびring並列化の設定が可能です。

主な機能

  • 01事前学習済みモデルから、複数の解像度、長さ、フレームレートで動画を生成します。
  • 02テキストからの動画生成、画像からの動画生成、動画から動画への変換、制御生成に対応します。
  • 03独自の画像・動画データセットを使って、ベースモデルやLoRAモデルを学習できます。
  • 04推論用にPythonスクリプト、GradioのWeb UI、ComfyUI連携を提供します。
  • 05CPUオフロードやfloat8量子化など、GPUメモリの使用量を抑えるモードを利用できます。
  • 06xfuserを使ったマルチGPU推論に対応します。

ユースケース

  • 静止画やテキストプロンプトから短いAI動画を作成する。
  • 生成動画に特定のビジュアルスタイルを適用するLoRAを学習する。
  • ポーズマップや深度マップを使って、条件付き動画生成を行う。
  • スクリプトでパラメーターを指定し、レンタルGPUやローカルGPUで動画をまとめて生成する。

クイックスタート

  1. 1

    公式の Docker イメージを pull する

    docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  2. 2

    GPU を使用できるようにして、そのイメージからコンテナを起動する

    docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  3. 3

    コンテナ内で VideoX-Fun リポジトリを clone する

    git clone https://github.com/aigc-apps/VideoX-Fun.git

使う前に知っておきたいこと

  • 十分な VRAM を搭載した NVIDIA GPU が必要です。README では、テスト済みの最小カードとして 12GB が記載されています。
  • モデルの重みに約 60GB の空きディスク容量が必要です。
  • マルチ GPU 推論には追加のインストール(xfuser と yunchang)と、並列度の慎重な設定が必要です。

トピック

よくある質問

VideoX-Fun とは?
Diffusion Transformerモデル向けの動画生成フレームワーク。さまざまな解像度や画像から動画を生成でき、ベースモデルとLoRAモデルの学習にも対応します。 VideoX-Funは、Diffusion TransformerモデルでAI画像や動画を生成するためのパイプラインです。事前学習済みのベースモデルを使い、解像度、長さ、フレームレートを変えて動画を生成できるほか、特定のスタイル変換に向けた独自のベースモデルやLoRAモデルも学習できます。
VideoX-Fun は無料で使えますか?ライセンスは?
VideoX-Fun は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
VideoX-Fun は今もメンテナンスされていますか?
活発にメンテナンス中。VideoX-Fun の最終コミットは 2026年10月20日 です。
VideoX-Fun は何に使えますか?
静止画やテキストプロンプトから短いAI動画を作成する。 生成動画に特定のビジュアルスタイルを適用するLoRAを学習する。 ポーズマップや深度マップを使って、条件付き動画生成を行う。 スクリプトでパラメーターを指定し、レンタルGPUやローカルGPUで動画をまとめて生成する。
VideoX-Fun のインストール方法は?
公式の Docker イメージを pull する: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun GPU を使用できるようにして、そのイメージからコンテナを起動する: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun コンテナ内で VideoX-Fun リポジトリを clone する: git clone https://github.com/aigc-apps/VideoX-Fun.git
VideoX-Fun はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/aigc-apps/VideoX-Fun

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト