Открытый Python-фреймворк для создания голосовых и мультимодальных AI-агентов с поддержкой подключаемых сервисов распознавания и синтеза речи, LLM и транспорта.
neural-maze/realtime-phone-agents-course
Пошаговый курс по созданию голосового AI-колл-центра с FastRTC, Superlinked, Twilio, Opik и Runpod.
- Звёзды
- 1,109
- Форки
- 253
- Открытые issues
- 6
- Последний коммит
- 9 месяцев назад
Что это?
Курс состоит из нескольких уроков, в которых на практике разбирается создание системы голосовых AI-агентов для общения в реальном времени. В качестве сквозного примера используется агентство недвижимости: его сотрудники — голосовые агенты, которые принимают и совершают звонки через Twilio, ищут объявления с помощью Superlinked и ведут диалоги с низкой задержкой на базе FastRTC.
В уроках, посвящённых речи и моделям, рассматриваются преобразование речи в текст с Moonshine и Faster Whisper, синтез речи с Kokoro и Orpheus 3B, а также развёртывание open-source-моделей на GPU-подах Runpod. В следующих уроках добавляются несколько аватаров с разными персонами и голосами, версионируемые промпты и полная трассировка каждого звонка через Opik.
К каждому уроку прилагаются статья на Substack, запись сессии, код в отдельной ветке и Jupyter-ноутбуки. Перед прохождением курса нужно настроить API-ключи для Twilio, Runpod, Opik и Qdrant Cloud.
Ключевые возможности
- 01Голосовые агенты принимают и совершают звонки через Twilio
- 02Преобразование речи в текст и синтез речи в реальном времени с локальными и hosted-вариантами моделей
- 03Поиск по объявлениям о недвижимости на основе структурированных данных и текста с помощью Superlinked
- 04Самостоятельно размещаемые модели Whisper и Orpheus, развёрнутые на GPU-подах Runpod
- 05Агенты с несколькими аватарами, у каждого из которых свои персона, промпты и голос
- 06Трассировка этапов транскрибации, работы LLM, инструментов и TTS с помощью Opik
Сценарии использования
- Изучение принципов создания голосовых агентов для клиентских звонков, готовых к использованию в production
- Прототипирование AI-секретаря или колл-центра с поиском по базе товаров или объявлений
- Сравнение локальных и размещённых на GPU речевых моделей в работающем голосовом конвейере
Быстрый старт
- 1
Прочитайте руководство по настройке в docs/GETTINGS_STARTED.md, чтобы настроить окружение и установить зависимости
- 2
Запустите приложение колл-центра (FastAPI на порту 8000 через Docker Compose)
make start-call-center - 3
Откройте доступ к локальному серверу из интернета с помощью ngrok
make start-ngrok-tunnel
Что важно знать
- Это курс, а не готовый к использованию инструмент; он создаётся неделя за неделей.
- Для подключения реальных телефонных звонков нужны аккаунт Twilio и туннель ngrok.
- Некоторые компоненты зависят от платных сервисов или сервисов с GPU, например Runpod и Groq.
Темы
Частые вопросы
- Что такое realtime-phone-agents-course?
- Пошаговый курс по созданию голосового AI-колл-центра с FastRTC, Superlinked, Twilio, Opik и Runpod. Курс состоит из нескольких уроков, в которых на практике разбирается создание системы голосовых AI-агентов для общения в реальном времени. В качестве сквозного примера используется агентство недвижимости: его сотрудники — голосовые агенты, которые принимают и совершают звонки через Twilio, ищут объявления с помощью Superlinked и ведут диалоги с низкой задержкой на базе FastRTC.
- realtime-phone-agents-course можно использовать бесплатно? Какая у него лицензия?
- realtime-phone-agents-course распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- realtime-phone-agents-course всё ещё поддерживается?
- Нет коммитов больше 6 месяцев. Последний коммит в realtime-phone-agents-course — 10 янв. 2026 г..
- Для чего можно использовать realtime-phone-agents-course?
- Изучение принципов создания голосовых агентов для клиентских звонков, готовых к использованию в production Прототипирование AI-секретаря или колл-центра с поиском по базе товаров или объявлений Сравнение локальных и размещённых на GPU речевых моделей в работающем голосовом конвейере
- Как установить realtime-phone-agents-course?
- Прочитайте руководство по настройке в docs/GETTINGS_STARTED.md, чтобы настроить окружение и установить зависимости Запустите приложение колл-центра (FastAPI на порту 8000 через Docker Compose): make start-call-center Откройте доступ к локальному серверу из интернета с помощью ngrok: make start-ngrok-tunnel
- Где скачать realtime-phone-agents-course?
- Исходный код и инструкции по установке — на GitHub: https://github.com/neural-maze/realtime-phone-agents-course
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Open source-набор инструментов для распознавания речи, определения намерений и синтеза речи на устройстве — для голосовых агентов и приложений реального времени.
Библиотека на C++ с привязками для Python для быстрого поиска похожих объектов и кластеризации плотных векторов, с опциональным ускорением на GPU.
Семейство открытых моделей синтеза речи Resemble AI с клонированием голоса по короткому аудиообразцу на английском и многих других языках.
Open-source-инструмент для перевода видео на другие языки: распознаёт речь, переводит субтитры, создаёт AI-озвучку и сводит аудио с видео.
Офлайн-инструментарий для работы с речью на базе onnxruntime: распознавание речи, синтез речи, VAD, диаризация и другие задачи на разных платформах и языках.