Repolode
xinnan-tech

xinnan-tech/xiaozhi-esp32-server

Python/Java/Vue-сервер для голосовых устройств xiaozhi-esp32 на ESP32 с поддержкой MQTT+UDP, WebSocket, MCP, распознавания голоса и базы знаний.

Звёзды
10,940
Форки
3,716
Открытые issues
732
Последний коммит
9 часов назад

Что это?

xiaozhi-esp32-server — серверная часть, которую можно развернуть самостоятельно для проекта открытого умного оборудования xiaozhi-esp32. Она реализует протокол связи xiaozhi на Python, Java и Vue, позволяя голосовым устройствам на ESP32 подключаться к собственному серверу, а не к размещённому сторонним сервисом.

Сервер обрабатывает голосовой конвейер: потоковое распознавание и синтез речи, а также обнаружение голосовой активности. Для ASR, LLM, VLLM и TTS можно выбрать локальные модели, например FunASR и SherpaASR, или облачные API. Также поддерживаются распознавание намерений через вызов функций, несколько вариантов хранения памяти, поиск по базе знаний RAGFlow и вызовы инструментов через IoT, MCP и пользовательские протоколы функций.

При развёртывании всех модулей становится доступна веб-консоль для управления пользователями, устройствами и агентами; режим с файлом конфигурации позволяет работать без базы данных. Развернуть сервер можно через Docker или из исходного кода.

Ключевые возможности

  • 01Поддерживает шлюз MQTT+UDP и подключения по WebSocket для устройств ESP32.
  • 02Потоковые ASR и TTS, а также обнаружение голосовой активности с выбором облачных и локальных провайдеров.
  • 03Регистрация голосовых отпечатков и идентификация говорящего с передачей этих данных в LLM.
  • 04Вызов инструментов через IoT, клиент и сервер MCP, а также пользовательские протоколы функций.
  • 05Веб-консоль для управления пользователями, устройствами и агентами; развёртывание через Docker или из исходного кода.

Сценарии использования

  • Запуск собственного сервера для самостоятельно собранного голосового помощника на xiaozhi-esp32.
  • Подключение устройств ESP32 к совместимым с OpenAI API или отечественным API LLM.
  • Управление бытовой техникой или отправка устройствам команд MCP с сервера.
  • Создание прототипов голосовых агентов с поиском по базе знаний на маломощном оборудовании.

Быстрый старт

  1. 1

    Выберите режим развертывания (minimal или full module) в таблице README

  2. 2

    Следуйте руководству по развертыванию через Docker или из исходного кода для выбранного режима

Что важно знать

  • В README указано, что проект не завершен и не прошел проверку безопасности, поэтому его не следует использовать в production.
  • Проект предназначен для работы с аппаратными устройствами ESP32 и полезен только владельцам совместимого оборудования.
  • Для распознавания речи, LLM и TTS используются сторонние API-сервисы, некоторые из которых требуют платных ключей.
  • Для запуска с локальными моделями, например FunASR, требуются 2 ядра и 4 ГБ RAM; для конфигурации full module нужны 4 ядра и 8 ГБ RAM.

Темы

Частые вопросы

Что такое xiaozhi-esp32-server?
Python/Java/Vue-сервер для голосовых устройств xiaozhi-esp32 на ESP32 с поддержкой MQTT+UDP, WebSocket, MCP, распознавания голоса и базы знаний. xiaozhi-esp32-server — серверная часть, которую можно развернуть самостоятельно для проекта открытого умного оборудования xiaozhi-esp32. Она реализует протокол связи xiaozhi на Python, Java и Vue, позволяя голосовым устройствам на ESP32 подключаться к собственному серверу, а не к размещённому сторонним сервисом.
xiaozhi-esp32-server можно использовать бесплатно? Какая у него лицензия?
xiaozhi-esp32-server распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
xiaozhi-esp32-server всё ещё поддерживается?
Активно поддерживается. Последний коммит в xiaozhi-esp32-server — 20 окт. 2026 г..
Для чего можно использовать xiaozhi-esp32-server?
Запуск собственного сервера для самостоятельно собранного голосового помощника на xiaozhi-esp32. Подключение устройств ESP32 к совместимым с OpenAI API или отечественным API LLM. Управление бытовой техникой или отправка устройствам команд MCP с сервера. Создание прототипов голосовых агентов с поиском по базе знаний на маломощном оборудовании.
Как установить xiaozhi-esp32-server?
Выберите режим развертывания (minimal или full module) в таблице README Следуйте руководству по развертыванию через Docker или из исходного кода для выбранного режима
Где скачать xiaozhi-esp32-server?
Исходный код и инструкции по установке — на GitHub: https://github.com/xinnan-tech/xiaozhi-esp32-server

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.

33,3 тыс.2,9 тыс.PythonOtherОбновлён 6 дней назад