Repolode
Enviar
joey-zhou

joey-zhou/xiaozhi-esp32-server-java

Servidor Java e plataforma de administração para dispositivos de voz Xiaozhi ESP32, com monitoramento de dispositivos, gerenciamento de voz e personas e registros de conversas.

Ver no GitHub
Estrelas
1,381
Forks
505
Issues abertas
2
Último commit
há 23 dias

O que é?

O Xiaozhi ESP32 Server Java é um backend Java para dispositivos de voz com ESP32 compatíveis com o firmware Xiaozhi ESP32. Ele inclui um console web de administração para gerenciar usuários, dispositivos, funções e atualizações OTA, além de um serviço de diálogo separado que processa fluxos de áudio via WebSocket e MQTT e o pipeline de conversas com IA.

O sistema é dividido em dois processos: xiaozhi-server, para administração, e xiaozhi-dialogue, para voz em tempo real. Eles compartilham MySQL e Redis e podem ser escalados de forma independente. O reconhecimento e a síntese de fala podem usar modelos locais, como sherpa-onnx e Vosk, ou provedores na nuvem. Os modelos de linguagem podem vir do OpenAI, Zhipu, Ollama, Dify, Coze e outros. O suporte a ferramentas MCP, chamadas de função, uma base de conhecimento RAG e o reconhecimento de voz ampliam os recursos do assistente.

A implantação pode ser feita com Docker Compose ou a partir do código-fonte, usando JDK 21, Maven, Node 22, MySQL 8 e Redis 7. Os modelos são baixados por um script fornecido na primeira execução.

Recursos principais

  • 01Processos separados para administração e diálogo, que compartilham MySQL e Redis e podem ser escalados de forma independente
  • 02Reconhecimento e síntese de fala locais e na nuvem, incluindo clonagem de voz e interação em streaming
  • 03Integração com OpenAI, Zhipu, Ollama, Dify, Coze e outros provedores de LLM
  • 04Suporte ao protocolo de ferramentas MCP e chamadas de função para controlar dispositivos de casa inteligente
  • 05Base de conhecimento RAG para documentos PDF, Office e imagens
  • 06Memória de longo prazo e reconhecimento de voz para vários moradores

Casos de uso

  • Executar um backend próprio de assistente de voz para dispositivos ESP32 em casa ou no escritório
  • Gerenciar um conjunto de dispositivos compatíveis com Xiaozhi, com atualizações OTA e monitoramento
  • Criar um assistente de voz que controle dispositivos de casa inteligente por meio de MCP ou chamadas de função
  • Prototipar um produto de voz com IA em hardware ESP32, alternando entre provedores de fala e LLM

Início rápido

  1. 1

    Crie uma pasta e acesse-a

    mkdir xiaozhi && cd xiaozhi
  2. 2

    Baixe o arquivo docker-compose.yml

    curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml
  3. 3

    Inicie os contêineres

    docker compose up -d
  4. 4

    Quando os contêineres estiverem saudáveis, abra http://localhost:8084 e faça login como admin / 123456. Em seguida, configure uma chave de API de LLM

Antes de usar

  • Você precisa fornecer sua própria chave de API de LLM para que o sistema possa manter conversas; nenhuma chave está incluída.
  • Alguns recursos não são de código aberto e estão disponíveis apenas na versão comercial.

Tópicos

#esp32#java#spring-boot#voice-assistant#iot#llm#speech-recognition#text-to-speech#mcp#mcp-client

Perguntas frequentes

O que é xiaozhi-esp32-server-java?
Servidor Java e plataforma de administração para dispositivos de voz Xiaozhi ESP32, com monitoramento de dispositivos, gerenciamento de voz e personas e registros de conversas. O Xiaozhi ESP32 Server Java é um backend Java para dispositivos de voz com ESP32 compatíveis com o firmware Xiaozhi ESP32. Ele inclui um console web de administração para gerenciar usuários, dispositivos, funções e atualizações OTA, além de um serviço de diálogo separado que processa fluxos de áudio via WebSocket e MQTT e o pipeline de conversas com IA.
xiaozhi-esp32-server-java é gratuito? Qual é a licença?
xiaozhi-esp32-server-java é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
xiaozhi-esp32-server-java ainda é mantido?
Manutenção ativa. O último commit de xiaozhi-esp32-server-java foi em 27 de set. de 2026.
Para que posso usar xiaozhi-esp32-server-java?
Executar um backend próprio de assistente de voz para dispositivos ESP32 em casa ou no escritório Gerenciar um conjunto de dispositivos compatíveis com Xiaozhi, com atualizações OTA e monitoramento Criar um assistente de voz que controle dispositivos de casa inteligente por meio de MCP ou chamadas de função Prototipar um produto de voz com IA em hardware ESP32, alternando entre provedores de fala e LLM
Como instalar xiaozhi-esp32-server-java?
Crie uma pasta e acesse-a: mkdir xiaozhi && cd xiaozhi Baixe o arquivo docker-compose.yml: curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml Inicie os contêineres: docker compose up -d Quando os contêineres estiverem saudáveis, abra http://localhost:8084 e faça login como admin / 123456. Em seguida, configure uma chave de API de LLM
Onde consigo xiaozhi-esp32-server-java?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/joey-zhou/xiaozhi-esp32-server-java

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados