Открытый Python-фреймворк для создания голосовых и мультимодальных AI-агентов с поддержкой подключаемых сервисов распознавания и синтеза речи, LLM и транспорта.
livekit/agents
Python-фреймворк для создания голосовых и видео AI-агентов реального времени, работающих в комнатах LiveKit как серверные участники.
- Звёзды
- 14,887
- Форки
- 3,979
- Открытые issues
- 802
- Последний коммит
- 5 часов назад
Что это?
Agents — это Python-фреймворк для создания программируемых участников, которые работают на серверах в реальном времени. Он позволяет разработчикам создавать разговорных мультимодальных голосовых агентов, способных слышать, видеть и отвечать в комнатах LiveKit, а подключать конечных пользователей к агентам можно через dispatch API.
Фреймворк позволяет объединить в одном пайплайне провайдеров speech-to-text, LLM, text-to-speech и моделей реального времени. В него входят семантическое определение ходов диалога на основе transformer-модели, помогающее сократить количество перебиваний, встроенная поддержка MCP для подключения инструментов с MCP-серверов и обмен данными с клиентами через RPC и data API. Интеграция с телефонией позволяет агенту совершать и принимать звонки.
Agents можно запускать в локальном терминале для тестирования, в режиме разработки с hot reload или в production-режиме. В проект также входит встроенный тестовый фреймворк, в котором judges проверяют поведение агента. Проект распространяется по лицензии Apache-2.0, а весь стек можно разместить на собственных серверах вместе с LiveKit server.
Ключевые возможности
- 01Объединение провайдеров STT, LLM, TTS и API реального времени в одном пайплайне.
- 02Семантическое определение ходов диалога с помощью transformer-модели для сокращения перебиваний.
- 03Встроенная поддержка MCP для подключения инструментов с MCP-серверов.
- 04Интеграция с телефонией для совершения и приёма звонков.
- 05Обмен данными с клиентами через RPC и data API.
- 06Встроенный тестовый фреймворк с judges для проверки поведения агента.
Сценарии использования
- Создание голосового агента службы поддержки, который отвечает на телефонные звонки.
- Создание агента для исходящих звонков, совершающего автоматические вызовы.
- Добавление многопользовательского сервиса транскрибации, который создаёт расшифровки для всех участников комнаты.
- Разработка ассистента с поддержкой зрения, реагирующего на видео пользователей в реальном времени.
Быстрый старт
- 1
Установите основную библиотеку вместе с плагинами поставщиков моделей
pip install "livekit-agents[openai,deepgram,cartesia]" - 2
Задайте переменные окружения LIVEKIT_URL, LIVEKIT_API_KEY и LIVEKIT_API_SECRET
- 3
Сохраните пример агента в файл myagent.py и протестируйте его в режиме терминала
python myagent.py console
Что важно знать
- Пример быстрого старта требует LiveKit Inference или API-ключей внешних поставщиков моделей, которые обычно предоставляются за плату.
- Для подключения к комнате в реальном времени требуется учетная запись LiveKit Cloud или собственный сервер LiveKit.
Темы
Частые вопросы
- Что такое agents?
- Python-фреймворк для создания голосовых и видео AI-агентов реального времени, работающих в комнатах LiveKit как серверные участники. Agents — это Python-фреймворк для создания программируемых участников, которые работают на серверах в реальном времени. Он позволяет разработчикам создавать разговорных мультимодальных голосовых агентов, способных слышать, видеть и отвечать в комнатах LiveKit, а подключать конечных пользователей к агентам можно через dispatch API.
- agents можно использовать бесплатно? Какая у него лицензия?
- agents распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- agents всё ещё поддерживается?
- Активно поддерживается. Последний коммит в agents — 22 окт. 2026 г..
- Для чего можно использовать agents?
- Создание голосового агента службы поддержки, который отвечает на телефонные звонки. Создание агента для исходящих звонков, совершающего автоматические вызовы. Добавление многопользовательского сервиса транскрибации, который создаёт расшифровки для всех участников комнаты. Разработка ассистента с поддержкой зрения, реагирующего на видео пользователей в реальном времени.
- Как установить agents?
- Установите основную библиотеку вместе с плагинами поставщиков моделей: pip install "livekit-agents[openai,deepgram,cartesia]" Задайте переменные окружения LIVEKIT_URL, LIVEKIT_API_KEY и LIVEKIT_API_SECRET Сохраните пример агента в файл myagent.py и протестируйте его в режиме терминала: python myagent.py console
- Где скачать agents?
- Исходный код и инструкции по установке — на GitHub: https://github.com/livekit/agents
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Фреймворк с открытым исходным кодом для мультимодальных разговорных голосовых AI-агентов реального времени, с готовыми примерами и визуальным дизайнером.
Локальная open-source студия для работы с AI-голосом: клонируйте голос, генерируйте речь, диктуйте в любые приложения и озвучивайте AI-агентов.
Перевод речи в реальном времени в обе стороны для двуязычных встреч: через облачные сервисы или полностью офлайн на устройстве, в приложении для компьютера и расширении для браузера.
Самостоятельно размещаемая open-source платформа голосового AI для создания, тестирования и запуска голосовых агентов в телефонии и браузере с визуальным конструктором сценариев и поддержкой MCP.
Цифровой аватар слушает речь, отвечает с помощью GPT, озвучивает ответ голосом ElevenLabs и синхронизирует движения губ с помощью Rhubarb.