Mochi 1 é um modelo de geração de texto para vídeo lançado pela Genmo como uma prévia de pesquisa. Ele usa um transformer de difusão com 10 bilhões de parâmetros, chamado AsymmDiT, que codifica os prompts com um único modelo de linguagem T5-XXL e os combina com um AsymmVAE aberto para compressão de vídeo. O modelo busca gerar movimentos fotorrealistas e seguir os prompts, e a versão inicial gera vídeos em 480p.
O repositório oferece uma interface web em Gradio e um script de linha de comando para gerar clipes com pesos locais, além de uma opção de offload para CPU que reduz o uso de memória da GPU. Uma API Python disponibiliza o pipeline para uso programático. Há suporte a fine-tuning com LoRA, e o treinador foi projetado para rodar em uma única GPU H100 ou A100 com 80 GB. A inferência em uma única GPU exige cerca de 60 GB de VRAM, enquanto as integrações com ComfyUI podem executá-lo com menos memória.
Os pesos estão disponíveis no Hugging Face e por download direto. O projeto informa que o modelo é otimizado para conteúdo fotorrealista e tem desempenho ruim com estilos animados, e que o uso em produtos comerciais exige medidas de segurança adicionais.
Clone o repositório
git clone https://github.com/genmoai/mochiAcesse o diretório do projeto
cd mochiInstale o uv e crie um ambiente virtual do Python 3.11
pip install uv && uv venv --python 3.11 .venvAtive o ambiente e sincronize as dependências
source .venv/bin/activate && uv sync --lockedResumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Modelos generativos de vídeo open source em larga escala para texto para vídeo, imagem para vídeo, fala para vídeo e animação de personagens.
Framework de geração de vídeos para modelos Diffusion Transformer, capaz de criar vídeos em resoluções flexíveis e a partir de imagens, com suporte ao treinamento de modelos base e LoRA.
Modelo de base open source de geração de vídeo da Tencent, com 13 bilhões de parâmetros, que cria vídeos a partir de prompts de texto.
Um transformer de difusão de texto para imagem bilíngue e de código aberto da Tencent, que entende prompts em chinês e inglês.
Modelo open source de geração interativa de vídeos de jogos que transforma uma imagem de referência e comandos de teclado ou mouse em vídeos de gameplay controláveis.
Base de código open source para geração eficiente de imagens e vídeos em alta resolução com diffusion transformers lineares, incluindo pipelines de treinamento e inferência.