Java-сервер и административная платформа для голосовых устройств Xiaozhi ESP32: мониторинг, управление голосами и персонами, а также журналы диалогов.
xinnan-tech/xiaozhi-esp32-server
Python/Java/Vue-сервер для голосовых устройств xiaozhi-esp32 на ESP32 с поддержкой MQTT+UDP, WebSocket, MCP, распознавания голоса и базы знаний.
- Звёзды
- 10,940
- Форки
- 3,716
- Открытые issues
- 732
- Последний коммит
- 9 часов назад
Что это?
xiaozhi-esp32-server — серверная часть, которую можно развернуть самостоятельно для проекта открытого умного оборудования xiaozhi-esp32. Она реализует протокол связи xiaozhi на Python, Java и Vue, позволяя голосовым устройствам на ESP32 подключаться к собственному серверу, а не к размещённому сторонним сервисом.
Сервер обрабатывает голосовой конвейер: потоковое распознавание и синтез речи, а также обнаружение голосовой активности. Для ASR, LLM, VLLM и TTS можно выбрать локальные модели, например FunASR и SherpaASR, или облачные API. Также поддерживаются распознавание намерений через вызов функций, несколько вариантов хранения памяти, поиск по базе знаний RAGFlow и вызовы инструментов через IoT, MCP и пользовательские протоколы функций.
При развёртывании всех модулей становится доступна веб-консоль для управления пользователями, устройствами и агентами; режим с файлом конфигурации позволяет работать без базы данных. Развернуть сервер можно через Docker или из исходного кода.
Ключевые возможности
- 01Поддерживает шлюз MQTT+UDP и подключения по WebSocket для устройств ESP32.
- 02Потоковые ASR и TTS, а также обнаружение голосовой активности с выбором облачных и локальных провайдеров.
- 03Регистрация голосовых отпечатков и идентификация говорящего с передачей этих данных в LLM.
- 04Вызов инструментов через IoT, клиент и сервер MCP, а также пользовательские протоколы функций.
- 05Веб-консоль для управления пользователями, устройствами и агентами; развёртывание через Docker или из исходного кода.
Сценарии использования
- Запуск собственного сервера для самостоятельно собранного голосового помощника на xiaozhi-esp32.
- Подключение устройств ESP32 к совместимым с OpenAI API или отечественным API LLM.
- Управление бытовой техникой или отправка устройствам команд MCP с сервера.
- Создание прототипов голосовых агентов с поиском по базе знаний на маломощном оборудовании.
Быстрый старт
- 1
Выберите режим развертывания (minimal или full module) в таблице README
- 2
Следуйте руководству по развертыванию через Docker или из исходного кода для выбранного режима
Что важно знать
- В README указано, что проект не завершен и не прошел проверку безопасности, поэтому его не следует использовать в production.
- Проект предназначен для работы с аппаратными устройствами ESP32 и полезен только владельцам совместимого оборудования.
- Для распознавания речи, LLM и TTS используются сторонние API-сервисы, некоторые из которых требуют платных ключей.
- Для запуска с локальными моделями, например FunASR, требуются 2 ядра и 4 ГБ RAM; для конфигурации full module нужны 4 ядра и 8 ГБ RAM.
Темы
Частые вопросы
- Что такое xiaozhi-esp32-server?
- Python/Java/Vue-сервер для голосовых устройств xiaozhi-esp32 на ESP32 с поддержкой MQTT+UDP, WebSocket, MCP, распознавания голоса и базы знаний. xiaozhi-esp32-server — серверная часть, которую можно развернуть самостоятельно для проекта открытого умного оборудования xiaozhi-esp32. Она реализует протокол связи xiaozhi на Python, Java и Vue, позволяя голосовым устройствам на ESP32 подключаться к собственному серверу, а не к размещённому сторонним сервисом.
- xiaozhi-esp32-server можно использовать бесплатно? Какая у него лицензия?
- xiaozhi-esp32-server распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- xiaozhi-esp32-server всё ещё поддерживается?
- Активно поддерживается. Последний коммит в xiaozhi-esp32-server — 20 окт. 2026 г..
- Для чего можно использовать xiaozhi-esp32-server?
- Запуск собственного сервера для самостоятельно собранного голосового помощника на xiaozhi-esp32. Подключение устройств ESP32 к совместимым с OpenAI API или отечественным API LLM. Управление бытовой техникой или отправка устройствам команд MCP с сервера. Создание прототипов голосовых агентов с поиском по базе знаний на маломощном оборудовании.
- Как установить xiaozhi-esp32-server?
- Выберите режим развертывания (minimal или full module) в таблице README Следуйте руководству по развертыванию через Docker или из исходного кода для выбранного режима
- Где скачать xiaozhi-esp32-server?
- Исходный код и инструкции по установке — на GitHub: https://github.com/xinnan-tech/xiaozhi-esp32-server
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Превращает Xiaomi AI Speaker в голосовой интерфейс для ChatGPT и других LLM: отправляет модели вопросы после ключевой фразы и озвучивает ответы.
Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.
Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.
Официальный Python SDK для создания серверов и клиентов Model Context Protocol, связывающих LLM-приложения с инструментами, данными и промптами.
Открытый инструментарий NVIDIA для создания, дообучения и развёртывания моделей речевого ИИ: распознавания речи (ASR), синтеза речи (TTS) и речевых LLM.