开源的大规模视频生成模型,支持文生视频、图生视频、语音生视频和角色动画。
- Star
- 2,311
- Fork
- 197
- 未关闭 Issue
- 132
- 最近提交
- 前天
这是什么?
VideoX-Fun 是一个基于 Diffusion Transformer 的视频与图像生成框架,可以从预训练模型直接生成不同分辨率、时长和帧率的视频,也支持训练自己的基础模型和 LoRA,用于特定风格的转换。
项目覆盖 CogVideoX-Fun、Wan2.1、Wan2.2 等模型系列,支持文生视频、图生视频、视频生视频,以及基于 Canny、Pose、Depth 等控制条件的可控生成。推理可通过 Python 脚本、Gradio 网页界面或 ComfyUI 节点完成,并提供 CPU 卸载、float8 量化等显存优化选项,便于在消费级显卡上运行。
训练部分包含基于 JSON 索引的图像和视频数据预处理流程,以及各模型的基础训练、LoRA 训练和控制训练脚本。多卡推理通过 xfuser 实现,可配置 Ulysses 与 ring 并行方式。
核心功能
- 01基于预训练模型生成不同分辨率、时长和帧率的视频。
- 02支持文生视频、图生视频、视频生视频和可控视频生成。
- 03可用自有图像和视频数据集训练基础模型与 LoRA。
- 04提供 Python 脚本、Gradio 网页界面和 ComfyUI 集成等推理方式。
- 05提供 CPU 卸载、float8 量化等显存优化模式。
- 06支持通过 xfuser 进行多卡推理。
适用场景
- 从静态图片或文字提示生成短视频。
- 训练 LoRA,将特定视觉风格应用到生成的视频上。
- 借助姿态或深度图引导,完成可控视频生成。
- 在本地或租用的 GPU 上,用脚本批量生成视频。
快速上手
- 1
拉取官方 Docker 镜像
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 2
使用 GPU 启动镜像容器
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 3
在容器内克隆 VideoX-Fun 仓库
git clone https://github.com/aigc-apps/VideoX-Fun.git
使用前须知
- 需要显存较大的 NVIDIA GPU,README 中测试过的最小显卡为 12GB。
- 需要约 60GB 的可用磁盘空间存放模型权重。
- 多卡推理需要额外安装 xfuser 和 yunchang,并正确设置并行参数。
标签
常见问题
- VideoX-Fun 是什么?
- 基于 Diffusion Transformer 的视频生成框架,支持任意分辨率生成视频、图生视频,并可训练 LoRA 模型。 VideoX-Fun 是一个基于 Diffusion Transformer 的视频与图像生成框架,可以从预训练模型直接生成不同分辨率、时长和帧率的视频,也支持训练自己的基础模型和 LoRA,用于特定风格的转换。
- VideoX-Fun 可以免费使用吗?用的什么许可证?
- VideoX-Fun 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- VideoX-Fun 还在维护吗?
- 活跃维护中。VideoX-Fun 最近一次提交是在 2026年10月20日。
- VideoX-Fun 适合用来做什么?
- 从静态图片或文字提示生成短视频。 训练 LoRA,将特定视觉风格应用到生成的视频上。 借助姿态或深度图引导,完成可控视频生成。 在本地或租用的 GPU 上,用脚本批量生成视频。
- VideoX-Fun 怎么安装和运行?
- 拉取官方 Docker 镜像: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun 使用 GPU 启动镜像容器: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun 在容器内克隆 VideoX-Fun 仓库: git clone https://github.com/aigc-apps/VideoX-Fun.git
- 在哪里获取 VideoX-Fun?
- 源代码和安装说明在 GitHub 上:https://github.com/aigc-apps/VideoX-Fun
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
1.8万2341PythonApache-2.0更新于 上个月
面向高分辨率图像与视频生成的开源代码库,基于线性扩散 Transformer,提供训练与推理流程。
9407753PythonApache-2.0更新于 前天
用于评测文生视频与图生视频模型的基准套件与评估工具包,覆盖多项质量与语义维度。
1827135PythonApache-2.0更新于 2个月前
一套开源的智能体视频制作系统,让 AI 编程助手化身完整的视频制作流水线。
7万9096PythonAGPL-3.0更新于 6天前
面向图像、视频和音频生成的开源 Diffusion 模型引擎,支持低显存推理与训练。
1.3万1318PythonApache-2.0更新于 前天
面向扩散模型微调的一体化训练套件,支持图像、视频和音频模型,可通过 Web UI 或命令行使用。
1.2万1587PythonMIT更新于 3天前