Repolode
Enviar
xinnan-tech

xinnan-tech/xiaozhi-esp32-server

Servidor backend em Python/Java/Vue para dispositivos de voz xiaozhi-esp32 com ESP32, compatível com MQTT+UDP, WebSocket, MCP, reconhecimento de voz e base de conhecimento.

Ver no GitHubSite
Estrelas
10,940
Forks
3,716
Issues abertas
732
Último commit
há 5 horas

O que é?

xiaozhi-esp32-server é um backend auto-hospedado para o projeto de hardware inteligente open source xiaozhi-esp32. Ele implementa o protocolo de comunicação xiaozhi em Python, Java e Vue, permitindo que dispositivos de voz com ESP32 se conectem a um servidor próprio, em vez de usar um serviço hospedado.

O servidor cuida do fluxo de voz: reconhecimento de fala em streaming, síntese de fala em streaming e detecção de atividade de voz. É possível escolher entre modelos locais (como FunASR e SherpaASR) e APIs na nuvem para ASR, LLM, VLLM e TTS. Também oferece reconhecimento de intenções por meio de chamadas de função, diversos backends de memória, recuperação de informações na base de conhecimento do RAGFlow e chamadas de ferramentas via IoT, MCP e protocolos de função personalizados.

Uma implantação com todos os módulos inclui um console web para gerenciar usuários, dispositivos e agentes; também há um modo de execução com arquivo de configuração, sem banco de dados. A implantação pode ser feita via Docker ou a partir do código-fonte.

Recursos principais

  • 01Oferece suporte a conexões via gateway MQTT+UDP e WebSocket para dispositivos ESP32.
  • 02ASR, TTS e detecção de atividade de voz em streaming, com várias opções de provedores locais e na nuvem.
  • 03Cadastro de voz e identificação do locutor, com informações repassadas ao LLM.
  • 04Chamadas de ferramentas via IoT, cliente/servidor MCP e protocolos de função personalizados.
  • 05Console web para gerenciar usuários, dispositivos e agentes, com implantação via Docker ou a partir do código-fonte.

Casos de uso

  • Executar um backend privado para um assistente de voz xiaozhi-esp32 montado por conta própria.
  • Conectar dispositivos ESP32 a APIs de LLM compatíveis com OpenAI ou de provedores nacionais.
  • Controlar eletrodomésticos ou enviar comandos MCP a dispositivos a partir de um servidor.
  • Prototipar agentes de voz com recuperação em bases de conhecimento em hardware de baixa capacidade.

Início rápido

  1. 1

    Escolha um modo de implantação (minimal ou full module) na tabela do README

  2. 2

    Siga o guia de implantação com Docker ou a partir do código-fonte correspondente ao modo escolhido

Antes de usar

  • O README informa que o projeto não está finalizado e não passou por testes de segurança, portanto não deve ser usado em produção.
  • Ele foi desenvolvido para funcionar com dispositivos de hardware ESP32 e só é útil para quem possui hardware compatível.
  • Ele depende de serviços de API de terceiros para voz, LLM e TTS, e alguns exigem chaves pagas.
  • Para executá-lo com modelos locais, como o FunASR, são necessários 2 núcleos e 4 GB de RAM; a configuração full module requer 4 núcleos e 8 GB.

Tópicos

#esp32#voice-assistant#mcp-server#websocket#mqtt#speech-recognition#tts#llm#dify#xiaozhi

Perguntas frequentes

O que é xiaozhi-esp32-server?
Servidor backend em Python/Java/Vue para dispositivos de voz xiaozhi-esp32 com ESP32, compatível com MQTT+UDP, WebSocket, MCP, reconhecimento de voz e base de conhecimento. xiaozhi-esp32-server é um backend auto-hospedado para o projeto de hardware inteligente open source xiaozhi-esp32. Ele implementa o protocolo de comunicação xiaozhi em Python, Java e Vue, permitindo que dispositivos de voz com ESP32 se conectem a um servidor próprio, em vez de usar um serviço hospedado.
xiaozhi-esp32-server é gratuito? Qual é a licença?
xiaozhi-esp32-server é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
xiaozhi-esp32-server ainda é mantido?
Manutenção ativa. O último commit de xiaozhi-esp32-server foi em 20 de out. de 2026.
Para que posso usar xiaozhi-esp32-server?
Executar um backend privado para um assistente de voz xiaozhi-esp32 montado por conta própria. Conectar dispositivos ESP32 a APIs de LLM compatíveis com OpenAI ou de provedores nacionais. Controlar eletrodomésticos ou enviar comandos MCP a dispositivos a partir de um servidor. Prototipar agentes de voz com recuperação em bases de conhecimento em hardware de baixa capacidade.
Como instalar xiaozhi-esp32-server?
Escolha um modo de implantação (minimal ou full module) na tabela do README Siga o guia de implantação com Docker ou a partir do código-fonte correspondente ao modo escolhido
Onde consigo xiaozhi-esp32-server?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/xinnan-tech/xiaozhi-esp32-server

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados