OpenTalker/SadTalker

Что это?

Ключевые возможности

• 01Создаёт видео с говорящим лицом по одному портретному изображению и аудиофайлу.
• 02Предсказывает по аудио положение головы и мимику с помощью коэффициентов 3D-движения.
• 03Предоставляет локальный WebUI на базе Gradio и CLI для генерации видео.
• 04Включает расширение для stable-diffusion-webui.
• 05Поддерживает режим статичного изображения в полный рост и дополнительное улучшение лиц с помощью GFPGAN.

Сценарии использования

• Создание видео с говорящей головой по одной фотографии для контента или демонстраций.
• Эксперименты с анимацией лица под управлением аудио в исследовательских целях.
• Добавление речи аватара с синхронизацией губ в рабочий процесс stable-diffusion-webui.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/OpenTalker/SadTalker.git
2. 2

   Создайте и активируйте conda-окружение с Python 3.8

   conda create -n sadtalker python=3.8
3. 3

   Установите зависимости

   pip install -r requirements.txt
4. 4

   Скачайте предварительно обученные модели (запускайте из корневой папки репозитория)

   bash scripts/download_models.sh

Что важно знать

• !Перед первым использованием необходимо настроить PyTorch для GPU с CUDA и вручную скачать модель.
• !В метаданных лицензия указана как NOASSERTION, поэтому перед коммерческим использованием проверьте лицензию репозитория.
• !Согласно README, для демо на Gradio требуется отдельно установить Coqui TTS, а настройка в Windows и macOS включает дополнительные шаги.

В подборках

Темы

Частые вопросы

Что такое SadTalker?

Создаёт видео с говорящей головой по одному портретному изображению и аудиофайлу, используя коэффициенты 3D-движения (CVPR 2023). SadTalker анимирует портрет, синхронизируя речь с заданным аудиофайлом. Проект предсказывает по аудио коэффициенты 3D-движения, описывающие положение головы и мимику, а затем использует их, чтобы создать видео с говорящим лицом на основе статичного изображения.

SadTalker можно использовать бесплатно? Какая у него лицензия?

SadTalker распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

SadTalker всё ещё поддерживается?

Нет коммитов больше 6 месяцев. Последний коммит в SadTalker — 26 июн. 2024 г..

Для чего можно использовать SadTalker?

Создание видео с говорящей головой по одной фотографии для контента или демонстраций. Эксперименты с анимацией лица под управлением аудио в исследовательских целях. Добавление речи аватара с синхронизацией губ в рабочий процесс stable-diffusion-webui.

Как установить SadTalker?

Клонируйте репозиторий: git clone https://github.com/OpenTalker/SadTalker.git Создайте и активируйте conda-окружение с Python 3.8: conda create -n sadtalker python=3.8 Установите зависимости: pip install -r requirements.txt Скачайте предварительно обученные модели (запускайте из корневой папки репозитория): bash scripts/download_models.sh

Где скачать SadTalker?

Исходный код и инструкции по установке — на GitHub: https://github.com/OpenTalker/SadTalker