Repolode
neural-maze

neural-maze/realtime-phone-agents-course

Пошаговый курс по созданию голосового AI-колл-центра с FastRTC, Superlinked, Twilio, Opik и Runpod.

Звёзды
1,109
Форки
253
Открытые issues
6
Последний коммит
9 месяцев назад

Что это?

Курс состоит из нескольких уроков, в которых на практике разбирается создание системы голосовых AI-агентов для общения в реальном времени. В качестве сквозного примера используется агентство недвижимости: его сотрудники — голосовые агенты, которые принимают и совершают звонки через Twilio, ищут объявления с помощью Superlinked и ведут диалоги с низкой задержкой на базе FastRTC.

В уроках, посвящённых речи и моделям, рассматриваются преобразование речи в текст с Moonshine и Faster Whisper, синтез речи с Kokoro и Orpheus 3B, а также развёртывание open-source-моделей на GPU-подах Runpod. В следующих уроках добавляются несколько аватаров с разными персонами и голосами, версионируемые промпты и полная трассировка каждого звонка через Opik.

К каждому уроку прилагаются статья на Substack, запись сессии, код в отдельной ветке и Jupyter-ноутбуки. Перед прохождением курса нужно настроить API-ключи для Twilio, Runpod, Opik и Qdrant Cloud.

Ключевые возможности

  • 01Голосовые агенты принимают и совершают звонки через Twilio
  • 02Преобразование речи в текст и синтез речи в реальном времени с локальными и hosted-вариантами моделей
  • 03Поиск по объявлениям о недвижимости на основе структурированных данных и текста с помощью Superlinked
  • 04Самостоятельно размещаемые модели Whisper и Orpheus, развёрнутые на GPU-подах Runpod
  • 05Агенты с несколькими аватарами, у каждого из которых свои персона, промпты и голос
  • 06Трассировка этапов транскрибации, работы LLM, инструментов и TTS с помощью Opik

Сценарии использования

  • Изучение принципов создания голосовых агентов для клиентских звонков, готовых к использованию в production
  • Прототипирование AI-секретаря или колл-центра с поиском по базе товаров или объявлений
  • Сравнение локальных и размещённых на GPU речевых моделей в работающем голосовом конвейере

Быстрый старт

  1. 1

    Прочитайте руководство по настройке в docs/GETTINGS_STARTED.md, чтобы настроить окружение и установить зависимости

  2. 2

    Запустите приложение колл-центра (FastAPI на порту 8000 через Docker Compose)

    make start-call-center
  3. 3

    Откройте доступ к локальному серверу из интернета с помощью ngrok

    make start-ngrok-tunnel

Что важно знать

  • Это курс, а не готовый к использованию инструмент; он создаётся неделя за неделей.
  • Для подключения реальных телефонных звонков нужны аккаунт Twilio и туннель ngrok.
  • Некоторые компоненты зависят от платных сервисов или сервисов с GPU, например Runpod и Groq.

Темы

Частые вопросы

Что такое realtime-phone-agents-course?
Пошаговый курс по созданию голосового AI-колл-центра с FastRTC, Superlinked, Twilio, Opik и Runpod. Курс состоит из нескольких уроков, в которых на практике разбирается создание системы голосовых AI-агентов для общения в реальном времени. В качестве сквозного примера используется агентство недвижимости: его сотрудники — голосовые агенты, которые принимают и совершают звонки через Twilio, ищут объявления с помощью Superlinked и ведут диалоги с низкой задержкой на базе FastRTC.
realtime-phone-agents-course можно использовать бесплатно? Какая у него лицензия?
realtime-phone-agents-course распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
realtime-phone-agents-course всё ещё поддерживается?
Нет коммитов больше 6 месяцев. Последний коммит в realtime-phone-agents-course — 10 янв. 2026 г..
Для чего можно использовать realtime-phone-agents-course?
Изучение принципов создания голосовых агентов для клиентских звонков, готовых к использованию в production Прототипирование AI-секретаря или колл-центра с поиском по базе товаров или объявлений Сравнение локальных и размещённых на GPU речевых моделей в работающем голосовом конвейере
Как установить realtime-phone-agents-course?
Прочитайте руководство по настройке в docs/GETTINGS_STARTED.md, чтобы настроить окружение и установить зависимости Запустите приложение колл-центра (FastAPI на порту 8000 через Docker Compose): make start-call-center Откройте доступ к локальному серверу из интернета с помощью ngrok: make start-ngrok-tunnel
Где скачать realtime-phone-agents-course?
Исходный код и инструкции по установке — на GitHub: https://github.com/neural-maze/realtime-phone-agents-course

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты