Repolode
Enviar
aigc-apps

aigc-apps/VideoX-Fun

Framework de geração de vídeos para modelos Diffusion Transformer, capaz de criar vídeos em resoluções flexíveis e a partir de imagens, com suporte ao treinamento de modelos base e LoRA.

Alternativa open source a:RunwayPika

Ver no GitHub
Estrelas
2,311
Forks
197
Issues abertas
132
Último commit
anteontem

O que é?

VideoX-Fun é um pipeline para gerar imagens e vídeos com IA usando modelos Diffusion Transformer. Ele executa inferência com modelos base pré-treinados para produzir vídeos em diferentes resoluções, durações e taxas de quadros, e também permite treinar modelos base e LoRA próprios para transformações de estilo específicas.

O projeto abrange várias famílias de modelos, incluindo CogVideoX-Fun, Wan2.1, Wan2.2 e suas variantes Fun, com tarefas como text-to-video, image-to-video, video-to-video e geração controlada usando condições Canny, Pose ou Depth. A inferência pode ser feita por scripts Python, uma interface web Gradio ou nodes do ComfyUI, e há opções de uso de memória da GPU, como CPU offload e quantização float8, para GPUs de consumo.

Os scripts de treinamento abrangem o pré-processamento de dados de conjuntos de imagens e vídeos indexados por JSON, além do treinamento de modelos base, LoRA e control para cada modelo compatível. A inferência em várias GPUs é compatível por meio do xfuser, com paralelismo Ulysses e ring configurável.

Recursos principais

  • 01Gera vídeos com diferentes resoluções, durações e taxas de quadros usando modelos pré-treinados.
  • 02Oferece suporte a text-to-video, image-to-video, video-to-video e geração controlada.
  • 03Treina modelos base e LoRA personalizados com seus próprios conjuntos de imagens e vídeos.
  • 04Oferece scripts Python, interface web Gradio e integração com ComfyUI para inferência.
  • 05Disponibiliza modos de uso de memória da GPU, como CPU offload e quantização float8.
  • 06Oferece suporte à inferência em várias GPUs com xfuser.

Casos de uso

  • Criar vídeos curtos com IA a partir de uma imagem estática ou de um prompt de texto.
  • Treinar um LoRA para aplicar um estilo visual específico a vídeos gerados.
  • Executar geração controlada de vídeos usando mapas de pose ou profundidade como guia.
  • Gerar vídeos em lote em GPUs alugadas ou locais, com parâmetros definidos por scripts.

Início rápido

  1. 1

    Baixe a imagem oficial do Docker

    docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  2. 2

    Inicie um contêiner a partir da imagem com acesso à GPU

    docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
  3. 3

    Clone o repositório VideoX-Fun dentro do contêiner

    git clone https://github.com/aigc-apps/VideoX-Fun.git

Antes de usar

  • É necessária uma GPU NVIDIA com bastante VRAM; o README indica que a placa de menor capacidade testada tem 12 GB.
  • São necessários cerca de 60 GB de espaço livre em disco para os pesos do modelo.
  • A inferência com várias GPUs exige instalações adicionais (xfuser e yunchang) e a configuração cuidadosa do grau de paralelismo.

Tópicos

#video-generation#diffusion-transformer#text-to-video#image-to-video#lora#wan#cogvideox#pytorch

Perguntas frequentes

O que é VideoX-Fun?
Framework de geração de vídeos para modelos Diffusion Transformer, capaz de criar vídeos em resoluções flexíveis e a partir de imagens, com suporte ao treinamento de modelos base e LoRA. VideoX-Fun é um pipeline para gerar imagens e vídeos com IA usando modelos Diffusion Transformer. Ele executa inferência com modelos base pré-treinados para produzir vídeos em diferentes resoluções, durações e taxas de quadros, e também permite treinar modelos base e LoRA próprios para transformações de estilo específicas.
VideoX-Fun é gratuito? Qual é a licença?
VideoX-Fun é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
VideoX-Fun ainda é mantido?
Manutenção ativa. O último commit de VideoX-Fun foi em 20 de out. de 2026.
Para que posso usar VideoX-Fun?
Criar vídeos curtos com IA a partir de uma imagem estática ou de um prompt de texto. Treinar um LoRA para aplicar um estilo visual específico a vídeos gerados. Executar geração controlada de vídeos usando mapas de pose ou profundidade como guia. Gerar vídeos em lote em GPUs alugadas ou locais, com parâmetros definidos por scripts.
Como instalar VideoX-Fun?
Baixe a imagem oficial do Docker: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun Inicie um contêiner a partir da imagem com acesso à GPU: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun Clone o repositório VideoX-Fun dentro do contêiner: git clone https://github.com/aigc-apps/VideoX-Fun.git
Onde consigo VideoX-Fun?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/aigc-apps/VideoX-Fun

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados