Repolode
Enviar
xinnan-tech

xinnan-tech/xiaozhi-esp32-server

Servidor backend en Python/Java/Vue para dispositivos de voz xiaozhi-esp32 con ESP32, compatible con MQTT+UDP, WebSocket, MCP, reconocimiento de voz y bases de conocimiento.

Ver en GitHubSitio web
Estrellas
10,940
Forks
3,716
Issues abiertos
732
Último commit
hace 5 horas

¿Qué es?

xiaozhi-esp32-server es un backend autohospedado para el proyecto de hardware inteligente de código abierto xiaozhi-esp32. Implementa en Python, Java y Vue el protocolo de comunicación de xiaozhi, para que los dispositivos de voz con ESP32 se conecten a un servidor propio en lugar de a un servicio alojado por terceros.

El servidor gestiona el flujo de voz: reconocimiento de voz en streaming, síntesis de voz en streaming y detección de actividad de voz. Permite elegir entre modelos locales (como FunASR y SherpaASR) o API en la nube para ASR, LLM, VLLM y TTS. También admite reconocimiento de intenciones mediante llamadas a funciones, varios backends de memoria, recuperación de información en bases de conocimiento de RAGFlow y llamadas a herramientas mediante IoT, MCP y protocolos de funciones personalizados.

La implementación con todos los módulos incluye una consola web para gestionar usuarios, dispositivos y agentes; además, el modo con archivo de configuración permite ejecutarlo sin base de datos. Se puede implementar mediante Docker o a partir del código fuente.

Funciones clave

  • 01Admite conexiones mediante una puerta de enlace MQTT+UDP y WebSocket para dispositivos ESP32.
  • 02ASR y TTS en streaming, además de detección de actividad de voz, con numerosas opciones de proveedores locales y en la nube.
  • 03Registro de huellas de voz e identificación de hablantes, con los resultados enviados al LLM.
  • 04Llamadas a herramientas mediante IoT, clientes y servidores MCP, y protocolos de funciones personalizados.
  • 05Consola web para gestionar usuarios, dispositivos y agentes, con implementación mediante Docker o desde el código fuente.

Casos de uso

  • Ejecutar un backend privado para un asistente de voz xiaozhi-esp32 creado por cuenta propia.
  • Conectar dispositivos ESP32 a API de LLM compatibles con OpenAI o a API nacionales.
  • Controlar electrodomésticos o enviar comandos MCP a dispositivos desde un servidor.
  • Crear prototipos de agentes de voz con recuperación en bases de conocimiento en hardware de recursos limitados.

Inicio rápido

  1. 1

    Elige un modo de implementación (minimal o full module) en la tabla del README

  2. 2

    Sigue la guía de implementación con Docker o desde el código fuente para el modo elegido

Antes de usarlo

  • El README indica que el proyecto no está terminado y no ha superado las pruebas de seguridad, por lo que no debe usarse en producción.
  • Está diseñado para funcionar con dispositivos de hardware ESP32 y solo resulta útil para quienes tienen hardware compatible.
  • Depende de servicios de API de terceros para voz, LLM y TTS, y algunos requieren claves de pago.
  • Para ejecutarlo con modelos locales como FunASR se necesitan 2 núcleos y 4 GB de RAM; la configuración full module requiere 4 núcleos y 8 GB.

Temas

#esp32#voice-assistant#mcp-server#websocket#mqtt#speech-recognition#tts#llm#dify#xiaozhi

Preguntas frecuentes

¿Qué es xiaozhi-esp32-server?
Servidor backend en Python/Java/Vue para dispositivos de voz xiaozhi-esp32 con ESP32, compatible con MQTT+UDP, WebSocket, MCP, reconocimiento de voz y bases de conocimiento. xiaozhi-esp32-server es un backend autohospedado para el proyecto de hardware inteligente de código abierto xiaozhi-esp32. Implementa en Python, Java y Vue el protocolo de comunicación de xiaozhi, para que los dispositivos de voz con ESP32 se conecten a un servidor propio en lugar de a un servicio alojado por terceros.
¿xiaozhi-esp32-server es gratuito? ¿Qué licencia tiene?
xiaozhi-esp32-server es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿xiaozhi-esp32-server sigue mantenido?
Mantenimiento activo. El último commit de xiaozhi-esp32-server fue el 20 oct 2026.
¿Para qué puedo usar xiaozhi-esp32-server?
Ejecutar un backend privado para un asistente de voz xiaozhi-esp32 creado por cuenta propia. Conectar dispositivos ESP32 a API de LLM compatibles con OpenAI o a API nacionales. Controlar electrodomésticos o enviar comandos MCP a dispositivos desde un servidor. Crear prototipos de agentes de voz con recuperación en bases de conocimiento en hardware de recursos limitados.
¿Cómo se instala xiaozhi-esp32-server?
Elige un modo de implementación (minimal o full module) en la tabla del README Sigue la guía de implementación con Docker o desde el código fuente para el modo elegido
¿Dónde consigo xiaozhi-esp32-server?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/xinnan-tech/xiaozhi-esp32-server

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados