Repolode
Предложить
pipecat-ai

pipecat-ai/pipecat

Открытый Python-фреймворк для создания голосовых и мультимодальных AI-агентов с поддержкой подключаемых сервисов распознавания и синтеза речи, LLM и транспорта.

Открыть на GitHubСайт
Звёзды
16,606
Форки
2,904
Открытые issues
398
Последний коммит
8 часов назад

Что это?

Pipecat — Python-фреймворк для создания диалоговых агентов, которые в реальном времени обрабатывают голос, видео и другие мультимодальные данные. Разработчики собирают агента в виде конвейера из модульных процессоров для преобразования речи в текст, вызовов LLM, синтеза речи и передачи данных. Каждый этап можно заменить, не переписывая остальные.

В проекте есть множество интеграций с сервисами распознавания речи, языковыми моделями и синтеза речи, а также с сервисами преобразования речи в речь, такими как OpenAI Realtime и Gemini Multimodal Live. Среди транспортов — WebRTC через Daily, LiveKit и Vonage, а также WebSocket и подключения WebSocket в FastAPI; для телефонии предусмотрены сериализаторы для таких провайдеров, как Twilio и Telnyx. Также заявлена поддержка нескольких агентов: конвейеры могут передавать друг другу управление или работать параллельно.

CLI (`pipecat init`) создает каркас новых проектов, а клиентские SDK доступны для JavaScript, React, iOS, Android и C++. Фреймворк распространяется как пакет `pipecat-ai` по лицензии BSD-2-Clause.

Ключевые возможности

  • 01Составные конвейеры из модульных процессоров для этапов обработки речи, LLM и TTS
  • 02Широкий выбор интеграций с сервисами распознавания речи, LLM и синтеза речи
  • 03Поддержка преобразования речи в речь через OpenAI Realtime и Gemini Multimodal Live
  • 04Транспорты WebRTC и WebSocket, а также сериализаторы телефонии для Twilio и других провайдеров
  • 05Передача управления между агентами и параллельная работа конвейеров
  • 06CLI для создания каркаса проектов и клиентские SDK для веба и мобильных устройств

Сценарии использования

  • Создание голосового помощника, который отвечает на звонки или общается с пользователями в реальном времени
  • Создание видео- или мультимодальных ботов, сочетающих обработку речи с моделями компьютерного зрения
  • Разработка структурированных бизнес-агентов, например для приема обращений клиентов или поддержки
  • Координация нескольких специализированных агентов, передающих друг другу диалоги

Быстрый старт

  1. 1

    Установите Pipecat CLI

    uv tool install "pipecat-ai[cli]"
  2. 2

    Создайте проект с помощью шаблона быстрого старта

    pipecat init quickstart

Темы

#voice-agent#real-time#llm#speech-to-text#text-to-speech#webrtc#python#multimodal#ai#chatbot-framework

Частые вопросы

Что такое pipecat?
Открытый Python-фреймворк для создания голосовых и мультимодальных AI-агентов с поддержкой подключаемых сервисов распознавания и синтеза речи, LLM и транспорта. Pipecat — Python-фреймворк для создания диалоговых агентов, которые в реальном времени обрабатывают голос, видео и другие мультимодальные данные. Разработчики собирают агента в виде конвейера из модульных процессоров для преобразования речи в текст, вызовов LLM, синтеза речи и передачи данных. Каждый этап можно заменить, не переписывая остальные.
pipecat можно использовать бесплатно? Какая у него лицензия?
pipecat распространяется с открытым исходным кодом под лицензией BSD-2-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.
pipecat всё ещё поддерживается?
Активно поддерживается. Последний коммит в pipecat — 19 окт. 2026 г..
Для чего можно использовать pipecat?
Создание голосового помощника, который отвечает на звонки или общается с пользователями в реальном времени Создание видео- или мультимодальных ботов, сочетающих обработку речи с моделями компьютерного зрения Разработка структурированных бизнес-агентов, например для приема обращений клиентов или поддержки Координация нескольких специализированных агентов, передающих друг другу диалоги
Как установить pipecat?
Установите Pipecat CLI: uv tool install "pipecat-ai[cli]" Создайте проект с помощью шаблона быстрого старта: pipecat init quickstart
Где скачать pipecat?
Исходный код и инструкции по установке — на GitHub: https://github.com/pipecat-ai/pipecat

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

kizuna-ai-lab / sokuji

Перевод речи в реальном времени в обе стороны для двуязычных встреч: через облачные сервисы или полностью офлайн на устройстве, в приложении для компьютера и расширении для браузера.

Продуктивность и приложения#speech-translation#real-time#bilingual
1,4 тыс.205TypeScriptAGPL-3.0Обновлён вчера

Significant-Gravitas / AutoGPT

AutoGPT — платформа с открытым исходным кодом для создания, запуска и планирования AI-агентов, выполняющих многоэтапные рабочие процессы по текстовому описанию или с помощью визуального конструктора.

ИИ и машинное обучение#ai-agents#llm#workflow-automation
187,7 тыс.45,9 тыс.PythonOtherОбновлён 14 часов назад