VideoX-Fun es un pipeline para generar imágenes y videos con IA mediante modelos Diffusion Transformer. Ejecuta inferencias con modelos base preentrenados para producir videos con distintas resoluciones, duraciones y frecuencias de fotogramas, y también permite entrenar modelos base y LoRA propios para transformaciones de estilo específicas.
El proyecto abarca varias familias de modelos, como CogVideoX-Fun, Wan2.1, Wan2.2 y sus variantes Fun, con tareas como text-to-video, image-to-video, video-to-video y generación controlada mediante condiciones Canny, Pose o Depth. La inferencia está disponible mediante scripts de Python, una interfaz web de Gradio o nodos de ComfyUI. También incluye opciones de memoria de GPU, como CPU offload y cuantización float8, para GPU de consumo.
Los scripts de entrenamiento cubren el preprocesamiento de datos de conjuntos de imágenes y videos indexados mediante JSON, además del entrenamiento base, LoRA y de control para cada modelo compatible. La inferencia con varias GPU es compatible mediante xfuser, con paralelismo Ulysses y ring configurable.
Descarga la imagen oficial de Docker
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_funInicia un contenedor a partir de la imagen con acceso a la GPU
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_funClona el repositorio VideoX-Fun dentro del contenedor
git clone https://github.com/aigc-apps/VideoX-Fun.gitResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Base de código de código abierto para generar imágenes y videos de alta resolución de forma eficiente con transformers de difusión de atención lineal, con flujos de entrenamiento e inferencia.
Suite de benchmarks y herramientas de evaluación que puntúa modelos generativos de texto a video e imagen a video en diversas dimensiones de calidad y semántica.
Sistema open source de producción de video con agentes que convierte un asistente de programación con IA en un estudio basado en pipelines para investigar, escribir guiones, generar recursos, editar y renderizar.
Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.
Suite integral para ajustar modelos de difusión de imagen, video y audio en GPU de consumo, desde una interfaz web o la CLI.