Repolode
aigc-apps

aigc-apps/VideoX-Fun

基于 Diffusion Transformer 的视频生成框架,支持任意分辨率生成视频、图生视频,并可训练 LoRA 模型。

可替代:RunwayPika

Star
2,311
Fork
197
未关闭 Issue
132
最近提交
前天

这是什么?

VideoX-Fun 是一个基于 Diffusion Transformer 的视频与图像生成框架,可以从预训练模型直接生成不同分辨率、时长和帧率的视频,也支持训练自己的基础模型和 LoRA,用于特定风格的转换。

项目覆盖 CogVideoX-Fun、Wan2.1、Wan2.2 等模型系列,支持文生视频、图生视频、视频生视频,以及基于 Canny、Pose、Depth 等控制条件的可控生成。推理可通过 Python 脚本、Gradio 网页界面或 ComfyUI 节点完成,并提供 CPU 卸载、float8 量化等显存优化选项,便于在消费级显卡上运行。

训练部分包含基于 JSON 索引的图像和视频数据预处理流程,以及各模型的基础训练、LoRA 训练和控制训练脚本。多卡推理通过 xfuser 实现,可配置 Ulysses 与 ring 并行方式。

核心功能

  • 01基于预训练模型生成不同分辨率、时长和帧率的视频。
  • 02支持文生视频、图生视频、视频生视频和可控视频生成。
  • 03可用自有图像和视频数据集训练基础模型与 LoRA。
  • 04提供 Python 脚本、Gradio 网页界面和 ComfyUI 集成等推理方式。
  • 05提供 CPU 卸载、float8 量化等显存优化模式。
  • 06支持通过 xfuser 进行多卡推理。

适用场景

  • 从静态图片或文字提示生成短视频。
  • 训练 LoRA,将特定视觉风格应用到生成的视频上。
  • 借助姿态或深度图引导,完成可控视频生成。
  • 在本地或租用的 GPU 上,用脚本批量生成视频。

快速上手

  1. 1

    拉取官方 Docker 镜像

    docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  2. 2

    使用 GPU 启动镜像容器

    docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  3. 3

    在容器内克隆 VideoX-Fun 仓库

    git clone https://github.com/aigc-apps/VideoX-Fun.git

使用前须知

  • 需要显存较大的 NVIDIA GPU,README 中测试过的最小显卡为 12GB。
  • 需要约 60GB 的可用磁盘空间存放模型权重。
  • 多卡推理需要额外安装 xfuser 和 yunchang,并正确设置并行参数。

标签

常见问题

VideoX-Fun 是什么?
基于 Diffusion Transformer 的视频生成框架,支持任意分辨率生成视频、图生视频,并可训练 LoRA 模型。 VideoX-Fun 是一个基于 Diffusion Transformer 的视频与图像生成框架,可以从预训练模型直接生成不同分辨率、时长和帧率的视频,也支持训练自己的基础模型和 LoRA,用于特定风格的转换。
VideoX-Fun 可以免费使用吗?用的什么许可证?
VideoX-Fun 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
VideoX-Fun 还在维护吗?
活跃维护中。VideoX-Fun 最近一次提交是在 2026年10月20日。
VideoX-Fun 适合用来做什么?
从静态图片或文字提示生成短视频。 训练 LoRA,将特定视觉风格应用到生成的视频上。 借助姿态或深度图引导,完成可控视频生成。 在本地或租用的 GPU 上,用脚本批量生成视频。
VideoX-Fun 怎么安装和运行?
拉取官方 Docker 镜像: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun 使用 GPU 启动镜像容器: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun 在容器内克隆 VideoX-Fun 仓库: git clone https://github.com/aigc-apps/VideoX-Fun.git
在哪里获取 VideoX-Fun?
源代码和安装说明在 GitHub 上:https://github.com/aigc-apps/VideoX-Fun

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目