asanchezyali/talking-avatar-with-ai

Что это?

Ключевые возможности

• 01Преобразование речи в текст с помощью OpenAI Whisper.
• 02Ответы GPT со структурированными полями для выражения лица и анимации.
• 03Синтез речи через API TTS от Eleven Labs.
• 04Генерация данных о виземах для синхронизации губ с помощью Rhubarb Lip Sync.
• 05Структура монорепозитория с бэкендом и браузерным клиентом для локальной разработки.

Сценарии использования

• Создание прототипа разговорного персонажа для демо или игры.
• Изучение того, как объединить LLM, преобразование речи в текст, TTS и синхронизацию губ в одном конвейере.
• Создание виртуального ведущего или помощника с анимированным лицом.

Быстрый старт

1. 1

   Клонируйте репозиторий

2. 2

   Установите зависимости монорепозитория из каталога проекта

   yarn
3. 3

   Создайте файл .env в /apps/backend/ и добавьте в него ключи OpenAI и Eleven Labs

4. 4

   Запустите систему разработки

   yarn dev

Что важно знать

• !Лицензия не указана, поэтому права на использование неясны.
• !Требуются платные подписки OpenAI и Eleven Labs; сообщается, что бесплатный тариф Eleven Labs не работает из-за ограничений на количество запросов.
• !Перед запуском необходимо вручную установить Rhubarb Lip-Sync и ffmpeg.

Темы

Частые вопросы

Что такое talking-avatar-with-ai?

Цифровой аватар слушает речь, отвечает с помощью GPT, озвучивает ответ голосом ElevenLabs и синхронизирует движения губ с помощью Rhubarb. Проект создаёт говорящего цифрового человека, который умеет слушать и отвечать. Текстовый или голосовой ввод превращается в ответ с помощью GPT от OpenAI, а Whisper расшифровывает аудио. Затем ответ озвучивается с помощью преобразования текста в речь от Eleven Labs, а Rhubarb Lip Sync генерирует данные о виземах, чтобы движения рта аватара совпадали с аудио.

talking-avatar-with-ai можно использовать бесплатно? Какая у него лицензия?

У talking-avatar-with-ai не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.

talking-avatar-with-ai всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в talking-avatar-with-ai — 16 сент. 2026 г..

Для чего можно использовать talking-avatar-with-ai?

Создание прототипа разговорного персонажа для демо или игры. Изучение того, как объединить LLM, преобразование речи в текст, TTS и синхронизацию губ в одном конвейере. Создание виртуального ведущего или помощника с анимированным лицом.

Как установить talking-avatar-with-ai?

Клонируйте репозиторий Установите зависимости монорепозитория из каталога проекта: yarn Создайте файл .env в /apps/backend/ и добавьте в него ключи OpenAI и Eleven Labs Запустите систему разработки: yarn dev

Где скачать talking-avatar-with-ai?

Исходный код и инструкции по установке — на GitHub: https://github.com/asanchezyali/talking-avatar-with-ai