Открытая модель для создания интерактивных игровых видео: она превращает референсное изображение и ввод с клавиатуры или мыши в управляемый геймплейный ролик.
Hunyuan-GameCraft — модель генерации видео от Tencent Hunyuan, предназначенная для создания интерактивных игровых роликов. На вход подаются референсное изображение, текстовый промпт и последовательность действий с клавиатуры или мыши, например W, A, S, D. Модель создаёт видео, в котором камера движется согласно этим действиям. Ввод с клавиатуры и мыши преобразуется в общее пространство представления камеры, благодаря чему движения можно плавно интерполировать.
Проект рассчитан на продолжение длинных видео. Для этого используется гибридная стратегия обучения с учётом истории: последовательность авторегрессионно расширяется, а информация о сцене из предыдущих кадров сохраняется. Также доступна дистиллированная версия: ей нужно 8 шагов инференса вместо 50, и она поддерживает FP8 для ускорения генерации.
В репозитории есть скрипты для параллельной генерации на нескольких GPU в Linux с CUDA, режим для одной GPU с небольшим объёмом видеопамяти и выгрузкой вычислений на CPU, а также веб-интерфейс Gradio, работающий через распределённый API инференса. Веса модели опубликованы на Hugging Face.
Клонируйте репозиторий
git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.gitСоздайте окружение conda
conda create -n HYGameCraft python==3.10Установите PyTorch и зависимости pip
python -m pip install -r requirements.txtСкачайте веса предварительно обученной модели (см. weights/README.md)
Запустите веб-интерфейс Gradio
bash scripts/launch_app_sp.shОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Интерактивная модель мира с открытым исходным кодом, которая превращает low-poly-кадры в игровые сцены с помощью потокового нейронного рендеринга.
Исследовательский фреймворк с открытым исходным кодом для потоковой генерации видео с говорящим аватаром по аудио на базе диффузионной модели 14B.
Веб-интерфейс на базе Gradio для запуска Stable Diffusion и новых моделей генерации изображений и видео — продолжение форка Forge с поддержкой дополнительных моделей и оптимизациями.
Открытый инструментарий NVIDIA для создания, дообучения и развёртывания моделей речевого ИИ: распознавания речи (ASR), синтеза речи (TTS) и речевых LLM.
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.