Mochi 1 — модель генерации видео по тексту, выпущенная Genmo в рамках исследовательского превью. В её основе — diffusion-трансформер на 10 млрд параметров под названием AsymmDiT: он кодирует промпты с помощью одной языковой модели T5-XXL и использует открытую AsymmVAE для сжатия видео. Модель ориентирована на фотореалистичную анимацию и точное следование промпту; в первоначальной версии она генерирует видео в разрешении 480p.
В репозитории есть веб-интерфейс Gradio и скрипт командной строки для генерации клипов с локально сохранёнными весами, а также возможность выгружать данные на CPU, чтобы снизить потребление видеопамяти. Python API позволяет использовать пайплайн программно. Поддерживается дообучение LoRA; тренер рассчитан на запуск на одном GPU H100 или A100 с 80 ГБ памяти. Для инференса на одном GPU требуется примерно 60 ГБ VRAM, а интеграции с ComfyUI позволяют запускать модель с меньшим объёмом памяти.
Веса доступны на Hugging Face и для прямого скачивания. Авторы отмечают, что модель оптимизирована для фотореалистичного контента и плохо работает с анимационными стилями. Для использования в коммерческих продуктах необходимы дополнительные меры безопасности.
Клонируйте репозиторий
git clone https://github.com/genmoai/mochiПерейдите в каталог проекта
cd mochiУстановите uv и создайте виртуальное окружение Python 3.11
pip install uv && uv venv --python 3.11 .venvАктивируйте окружение и синхронизируйте зависимости
source .venv/bin/activate && uv sync --lockedОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Фреймворк для генерации видео с моделями Diffusion Transformer: поддерживает разные разрешения и создание видео по изображениям, а также обучение базовых моделей и LoRA.
Открытая базовая модель Tencent для генерации видео по текстовым запросам с 13 млрд параметров.
Открытый двуязычный diffusion transformer от Tencent для генерации изображений по тексту, понимающий запросы на китайском и английском.
Открытая модель для создания интерактивных игровых видео: она превращает референсное изображение и ввод с клавиатуры или мыши в управляемый геймплейный ролик.
Открытый код для эффективной генерации изображений и видео высокого разрешения с помощью линейных diffusion transformer, включая пайплайны обучения и инференса.