Repolode
xinnan-tech

xinnan-tech/xiaozhi-esp32-server

为 xiaozhi-esp32 ESP32 语音硬件提供后端服务,支持 MQTT+UDP、WebSocket、MCP 接入与声纹识别。

Star
10,940
Fork
3,716
未关闭 Issue
732
最近提交
5小时前

这是什么?

xiaozhi-esp32-server 是开源智能硬件项目 xiaozhi-esp32 的自托管后端服务,使用 Python、Java 和 Vue 实现小智通信协议,让 ESP32 语音设备连接到您自己部署的服务器。

服务端覆盖语音交互链路,包括流式语音识别、流式语音合成和语音活动检测。ASR、LLM、VLLM、TTS 等模块可选用本地模型(如 FunASR、SherpaASR)或各类云端 API。此外还支持基于函数调用的意图识别、多种记忆存储方案、RAGFlow 知识库检索,以及 IoT、MCP 和自定义函数等工具调用方式。

全模块安装提供 Web 智控台,用于管理用户、设备和智能体;最简安装基于配置文件运行,无需数据库。部署方式包括 Docker 和源码部署。

核心功能

  • 01支持 MQTT+UDP 网关与 WebSocket 连接 ESP32 设备。
  • 02提供流式语音识别、语音合成和语音活动检测,可选多家云端或本地服务。
  • 03支持声纹注册与说话人识别,并将结果传递给大模型。
  • 04通过 IoT、MCP 客户端/服务端及自定义函数实现工具调用。
  • 05提供 Web 智控台管理用户、设备和智能体,支持 Docker 与源码部署。

适用场景

  • 为自建的 xiaozhi-esp32 语音助手搭建私有后端。
  • 让 ESP32 设备接入兼容 OpenAI 接口或国内大模型的 API。
  • 通过服务端向设备下发 MCP 指令,控制家电等设备。
  • 在低配置服务器上验证结合知识库检索的语音智能体原型。

快速上手

  1. 1

    根据 README 部署方式表选择最简化安装或全模块安装

  2. 2

    按所选方式参阅 Docker 或源码部署文档

使用前须知

  • README 称本项目功能未完善且未通过网络安全测评,请勿在生产环境中使用。
  • 本项目需配合 ESP32 硬件设备使用,仅对已拥有相应硬件的用户有实际用途。
  • 项目依赖第三方语音识别、大模型和语音合成等 API 服务,其中部分需要付费密钥。
  • 若使用 FunASR 等本地模型,最简配置需要 2 核 4G,全模块配置需要 4 核 8G。

标签

常见问题

xiaozhi-esp32-server 是什么?
为 xiaozhi-esp32 ESP32 语音硬件提供后端服务,支持 MQTT+UDP、WebSocket、MCP 接入与声纹识别。 xiaozhi-esp32-server 是开源智能硬件项目 xiaozhi-esp32 的自托管后端服务,使用 Python、Java 和 Vue 实现小智通信协议,让 ESP32 语音设备连接到您自己部署的服务器。
xiaozhi-esp32-server 可以免费使用吗?用的什么许可证?
xiaozhi-esp32-server 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
xiaozhi-esp32-server 还在维护吗?
活跃维护中。xiaozhi-esp32-server 最近一次提交是在 2026年10月20日。
xiaozhi-esp32-server 适合用来做什么?
为自建的 xiaozhi-esp32 语音助手搭建私有后端。 让 ESP32 设备接入兼容 OpenAI 接口或国内大模型的 API。 通过服务端向设备下发 MCP 指令,控制家电等设备。 在低配置服务器上验证结合知识库检索的语音智能体原型。
xiaozhi-esp32-server 怎么安装和运行?
根据 README 部署方式表选择最简化安装或全模块安装 按所选方式参阅 Docker 或源码部署文档
在哪里获取 xiaozhi-esp32-server?
源代码和安装说明在 GitHub 上:https://github.com/xinnan-tech/xiaozhi-esp32-server

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目