テキスト・画像・音声からの動画生成やキャラクターアニメーションに対応した、大規模なオープンソース動画生成モデル。
- スター
- 2,311
- フォーク
- 197
- 未解決の Issue
- 132
- 最終コミット
- 一昨日
これは何?
VideoX-Funは、Diffusion TransformerモデルでAI画像や動画を生成するためのパイプラインです。事前学習済みのベースモデルを使い、解像度、長さ、フレームレートを変えて動画を生成できるほか、特定のスタイル変換に向けた独自のベースモデルやLoRAモデルも学習できます。
CogVideoX-Fun、Wan2.1、Wan2.2とそれぞれのFunバリアントなど、複数のモデルファミリーに対応しています。テキストからの動画生成、画像からの動画生成、動画から動画への変換に加え、Canny、Pose、Depthの条件を使った制御生成などを行えます。推論にはPythonスクリプト、GradioのWeb UI、ComfyUIノードを利用でき、CPUオフロードやfloat8量子化など、一般向けGPU用のVRAM節約オプションも用意されています。
学習スクリプトでは、JSONでインデックス化された画像・動画データセットの前処理に加え、各対応モデルのベースモデル、LoRA、制御モデルの学習を行えます。xfuserを使ったマルチGPU推論にも対応しており、Ulyssesおよびring並列化の設定が可能です。
主な機能
- 01事前学習済みモデルから、複数の解像度、長さ、フレームレートで動画を生成します。
- 02テキストからの動画生成、画像からの動画生成、動画から動画への変換、制御生成に対応します。
- 03独自の画像・動画データセットを使って、ベースモデルやLoRAモデルを学習できます。
- 04推論用にPythonスクリプト、GradioのWeb UI、ComfyUI連携を提供します。
- 05CPUオフロードやfloat8量子化など、GPUメモリの使用量を抑えるモードを利用できます。
- 06xfuserを使ったマルチGPU推論に対応します。
ユースケース
- 静止画やテキストプロンプトから短いAI動画を作成する。
- 生成動画に特定のビジュアルスタイルを適用するLoRAを学習する。
- ポーズマップや深度マップを使って、条件付き動画生成を行う。
- スクリプトでパラメーターを指定し、レンタルGPUやローカルGPUで動画をまとめて生成する。
クイックスタート
- 1
公式の Docker イメージを pull する
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 2
GPU を使用できるようにして、そのイメージからコンテナを起動する
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 3
コンテナ内で VideoX-Fun リポジトリを clone する
git clone https://github.com/aigc-apps/VideoX-Fun.git
使う前に知っておきたいこと
- 十分な VRAM を搭載した NVIDIA GPU が必要です。README では、テスト済みの最小カードとして 12GB が記載されています。
- モデルの重みに約 60GB の空きディスク容量が必要です。
- マルチ GPU 推論には追加のインストール(xfuser と yunchang)と、並列度の慎重な設定が必要です。
トピック
よくある質問
- VideoX-Fun とは?
- Diffusion Transformerモデル向けの動画生成フレームワーク。さまざまな解像度や画像から動画を生成でき、ベースモデルとLoRAモデルの学習にも対応します。 VideoX-Funは、Diffusion TransformerモデルでAI画像や動画を生成するためのパイプラインです。事前学習済みのベースモデルを使い、解像度、長さ、フレームレートを変えて動画を生成できるほか、特定のスタイル変換に向けた独自のベースモデルやLoRAモデルも学習できます。
- VideoX-Fun は無料で使えますか?ライセンスは?
- VideoX-Fun は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- VideoX-Fun は今もメンテナンスされていますか?
- 活発にメンテナンス中。VideoX-Fun の最終コミットは 2026年10月20日 です。
- VideoX-Fun は何に使えますか?
- 静止画やテキストプロンプトから短いAI動画を作成する。 生成動画に特定のビジュアルスタイルを適用するLoRAを学習する。 ポーズマップや深度マップを使って、条件付き動画生成を行う。 スクリプトでパラメーターを指定し、レンタルGPUやローカルGPUで動画をまとめて生成する。
- VideoX-Fun のインストール方法は?
- 公式の Docker イメージを pull する: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun GPU を使用できるようにして、そのイメージからコンテナを起動する: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun コンテナ内で VideoX-Fun リポジトリを clone する: git clone https://github.com/aigc-apps/VideoX-Fun.git
- VideoX-Fun はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/aigc-apps/VideoX-Fun
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。
テキストから動画・画像から動画を生成するモデルを、多様な品質・意味的観点から評価するベンチマークスイート兼評価ツールキット。
AIコーディングアシスタントを、調査から編集・レンダリングまで行うパイプライン駆動の動画制作スタジオに変える、オープンソースのエージェント型動画制作システム。
低VRAMでの推論・学習に対応した、画像・動画・音声生成向けのオープンソースDiffusionモデルエンジン。
Web UIまたはCLIから、一般向けGPUで画像・動画・音声の拡散モデルをファインチューニングできるオールインワンの学習ツールキット。