VideoX-Fun — это пайплайн для генерации изображений и видео с помощью моделей Diffusion Transformer. Он запускает инференс на предобученных базовых моделях, создавая видео с разным разрешением, длительностью и частотой кадров. Также с его помощью можно обучать собственные базовые модели и LoRA для преобразования видео в заданном стиле.
Проект поддерживает несколько семейств моделей, в том числе CogVideoX-Fun, Wan2.1, Wan2.2 и их варианты Fun, а также задачи text-to-video, image-to-video, video-to-video и генерацию с условиями Canny, Pose или Depth. Инференс доступен через Python-скрипты, веб-интерфейс Gradio или ноды ComfyUI. Для видеокарт потребительского класса предусмотрены способы экономии видеопамяти, например CPU offload и float8-квантизация.
Скрипты обучения охватывают предобработку данных из наборов изображений и видео с индексами в JSON, а также обучение базовых моделей, LoRA и моделей с управлением для каждой поддерживаемой модели. Инференс на нескольких GPU поддерживается через xfuser с настраиваемым параллелизмом Ulysses и ring.
Загрузите официальный Docker-образ
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_funЗапустите контейнер из этого образа с доступом к GPU
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_funКлонируйте репозиторий VideoX-Fun внутри контейнера
git clone https://github.com/aigc-apps/VideoX-Fun.gitОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Открытый код для эффективной генерации изображений и видео высокого разрешения с помощью линейных diffusion transformer, включая пайплайны обучения и инференса.
Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики.
Open-source система агентного видеопроизводства, превращающая AI-ассистента для программирования в студию с пайплайнами для исследований, написания сценариев, создания материалов, монтажа и рендеринга.
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
Комплексный набор инструментов для дообучения диффузионных моделей изображений, видео и аудио на потребительских GPU через веб-интерфейс или CLI.