Repolode
Предложить
joey-zhou

joey-zhou/xiaozhi-esp32-server-java

Java-сервер и административная платформа для голосовых устройств Xiaozhi ESP32: мониторинг, управление голосами и персонами, а также журналы диалогов.

Открыть на GitHub
Звёзды
1,381
Форки
505
Открытые issues
2
Последний коммит
23 дня назад

Что это?

Xiaozhi ESP32 Server Java — Java-бэкенд для голосовых устройств на базе ESP32, совместимых с прошивкой Xiaozhi ESP32. В комплект входит веб-консоль администратора для управления пользователями, устройствами, ролями и обновлениями OTA, а также отдельный сервис диалогов, который обрабатывает аудиопотоки через WebSocket и MQTT и запускает конвейер диалога с ИИ.

Система состоит из двух процессов: xiaozhi-server отвечает за администрирование, а xiaozhi-dialogue — за голосовое взаимодействие в реальном времени. Они используют общие MySQL и Redis и масштабируются независимо друг от друга. Для распознавания и синтеза речи можно использовать локальные модели, например sherpa-onnx и Vosk, или облачных провайдеров; языковые модели доступны через OpenAI, Zhipu, Ollama, Dify, Coze и другие сервисы. Поддержка инструментов MCP, вызова функций, базы знаний RAG и распознавания голосов расширяет возможности ассистента.

Развернуть проект можно через Docker Compose или из исходного кода, используя JDK 21, Maven, Node 22, MySQL 8 и Redis 7. При первом запуске модели загружаются с помощью прилагаемого скрипта.

Ключевые возможности

  • 01Отдельные процессы администрирования и диалогов используют общие MySQL и Redis и масштабируются независимо
  • 02Локальное и облачное распознавание и синтез речи, включая клонирование голоса и потоковое взаимодействие
  • 03Интеграция с OpenAI, Zhipu, Ollama, Dify, Coze и другими провайдерами LLM
  • 04Поддержка протокола инструментов MCP и вызова функций для управления умным домом
  • 05База знаний RAG для документов PDF, Office и изображений
  • 06Долговременная память и распознавание голосов нескольких членов семьи

Сценарии использования

  • Запуск собственного бэкенда голосового ассистента для устройств ESP32 дома или в офисе
  • Управление парком устройств, совместимых с Xiaozhi, с помощью OTA-обновлений и мониторинга
  • Создание голосового ассистента для управления устройствами умного дома через MCP или вызов функций
  • Создание прототипа голосового ИИ-продукта на оборудовании ESP32 со сменными провайдерами распознавания речи и LLM

Быстрый старт

  1. 1

    Создайте папку и перейдите в неё

    mkdir xiaozhi && cd xiaozhi
  2. 2

    Скачайте файл docker-compose.yml

    curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml
  3. 3

    Запустите контейнеры

    docker compose up -d
  4. 4

    Когда контейнеры будут в рабочем состоянии, откройте http://localhost:8084 и войдите под именем admin / 123456, затем настройте ключ API LLM

Что важно знать

  • Чтобы система могла поддерживать диалоги, необходимо предоставить собственный ключ API LLM; ключи не включены.
  • Некоторые функции не имеют открытого исходного кода и доступны только в коммерческой версии.

Темы

#esp32#java#spring-boot#voice-assistant#iot#llm#speech-recognition#text-to-speech#mcp#mcp-client

Частые вопросы

Что такое xiaozhi-esp32-server-java?
Java-сервер и административная платформа для голосовых устройств Xiaozhi ESP32: мониторинг, управление голосами и персонами, а также журналы диалогов. Xiaozhi ESP32 Server Java — Java-бэкенд для голосовых устройств на базе ESP32, совместимых с прошивкой Xiaozhi ESP32. В комплект входит веб-консоль администратора для управления пользователями, устройствами, ролями и обновлениями OTA, а также отдельный сервис диалогов, который обрабатывает аудиопотоки через WebSocket и MQTT и запускает конвейер диалога с ИИ.
xiaozhi-esp32-server-java можно использовать бесплатно? Какая у него лицензия?
xiaozhi-esp32-server-java распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
xiaozhi-esp32-server-java всё ещё поддерживается?
Активно поддерживается. Последний коммит в xiaozhi-esp32-server-java — 27 сент. 2026 г..
Для чего можно использовать xiaozhi-esp32-server-java?
Запуск собственного бэкенда голосового ассистента для устройств ESP32 дома или в офисе Управление парком устройств, совместимых с Xiaozhi, с помощью OTA-обновлений и мониторинга Создание голосового ассистента для управления устройствами умного дома через MCP или вызов функций Создание прототипа голосового ИИ-продукта на оборудовании ESP32 со сменными провайдерами распознавания речи и LLM
Как установить xiaozhi-esp32-server-java?
Создайте папку и перейдите в неё: mkdir xiaozhi && cd xiaozhi Скачайте файл docker-compose.yml: curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml Запустите контейнеры: docker compose up -d Когда контейнеры будут в рабочем состоянии, откройте http://localhost:8084 и войдите под именем admin / 123456, затем настройте ключ API LLM
Где скачать xiaozhi-esp32-server-java?
Исходный код и инструкции по установке — на GitHub: https://github.com/joey-zhou/xiaozhi-esp32-server-java

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты