Исследовательский фреймворк с открытым исходным кодом для потоковой генерации видео с говорящим аватаром по аудио на базе диффузионной модели 14B.
LiveAvatar генерирует видео с говорящим аватаром по аудиодорожке и референсному изображению, а также позволяет задать текстовый промпт. Система рассчитана на потоковую работу: кадры создаются непрерывно, а не в виде одного ролика фиксированной длины. Для этого используется поблочный авторегрессионный подход, который, по заявлению проекта, позволяет создавать видео длительностью более 10 000 секунд.
В основе системы лежит базовая модель Wan2.2-S2V-14B с LiveAvatar LoRA; для сэмплирования используется 4 шага с дистилляцией сопоставления распределений. По данным проекта, на нескольких GPU H800 достигается скорость около 45 FPS. Скрипты инференса охватывают потоковую генерацию в реальном времени на нескольких GPU, офлайн-генерацию на одной GPU с 80 ГБ памяти и веб-интерфейсы Gradio. Опциональная квантование FP8 рассчитана на GPU с 48 ГБ памяти; для ускорения доступны компиляция и использование attention из cuDNN.
Проект выпущен под лицензией Apache-2.0 и, по словам авторов, представляет собой предварительную исследовательскую версию. Чекпойнты моделей размещены на Hugging Face, а в репозитории перечислены задачи, над которыми ещё предстоит работать, включая код обучения и интеграцию TTS.
Создайте и активируйте окружение conda
conda create -n liveavatar python=3.10 -y && conda activate liveavatarУстановите PyTorch и FlashAttention, затем зависимости Python
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txtСкачайте базовую модель Wan2.2-S2V-14B и LiveAvatar LoRA в ./ckpt/
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatarЗапустите CLI-инференс на одном GPU (требуется 80 ГБ VRAM)
bash infinite_inference_single_gpu.shОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Открытая модель для создания интерактивных игровых видео: она превращает референсное изображение и ввод с клавиатуры или мыши в управляемый геймплейный ролик.
GUI с узловым графом, API и бэкенд для локального запуска диффузионных моделей и генерации изображений, видео, аудио и 3D-контента.
Фреймворк для запуска моделей разных модальностей, расширяющий vLLM и поддерживающий генерацию текста, изображений, аудио, видео и действий.
Интерактивная модель мира с открытым исходным кодом, которая превращает low-poly-кадры в игровые сцены с помощью потокового нейронного рендеринга.
Веб-интерфейс на базе Gradio для запуска Stable Diffusion и новых моделей генерации изображений и видео — продолжение форка Forge с поддержкой дополнительных моделей и оптимизациями.