Mochi 1 es un modelo de generación de texto a video que Genmo publicó como avance de investigación. Utiliza un transformer de difusión de 10.000 millones de parámetros, llamado AsymmDiT, que codifica los prompts con un único modelo de lenguaje T5-XXL y los combina con un AsymmVAE abierto para comprimir video. El modelo está orientado al movimiento fotorrealista y a seguir las instrucciones de los prompts; la versión inicial genera videos en 480p.
El repositorio ofrece una interfaz web de Gradio y un script de línea de comandos para generar clips a partir de pesos locales, con una opción para descargar parte del trabajo a la CPU y reducir el uso de memoria de la GPU. Una API de Python permite usar la pipeline mediante código. Se admite el ajuste fino con LoRA, y el entrenador está diseñado para ejecutarse en una sola GPU H100 o A100 de 80 GB. La inferencia en una sola GPU requiere aproximadamente 60 GB de VRAM, mientras que las integraciones con ComfyUI pueden ejecutarlo con menos memoria.
Los pesos están disponibles en Hugging Face y mediante descarga directa. El proyecto señala que está optimizado para contenido fotorrealista y que ofrece malos resultados con estilos animados, y que para implementarlo en productos comerciales se requieren medidas de seguridad adicionales.
Clona el repositorio
git clone https://github.com/genmoai/mochiEntra en el directorio del proyecto
cd mochiInstala uv y crea un entorno virtual de Python 3.11
pip install uv && uv venv --python 3.11 .venvActiva el entorno y sincroniza las dependencias
source .venv/bin/activate && uv sync --lockedResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Framework de generación de video para modelos Diffusion Transformer que crea videos con distintas resoluciones y a partir de imágenes, y permite entrenar modelos base y LoRA.
Modelo fundacional de generación de video de código abierto de 13B parámetros de Tencent que crea videos a partir de prompts de texto.
Un transformer de difusión bilingüe y de código abierto para generar imágenes a partir de texto, desarrollado por Tencent y compatible con prompts en chino e inglés.
Modelo de código abierto para generar videos interactivos de juegos a partir de una imagen de referencia y controles de teclado o mouse.
Base de código de código abierto para generar imágenes y videos de alta resolución de forma eficiente con transformers de difusión de atención lineal, con flujos de entrenamiento e inferencia.