一个把数字人与大语言模型接入业务系统的 agent 框架,支持多终端接入。
joey-zhou/xiaozhi-esp32-server-java
面向小智 ESP32 语音设备的 Java 服务端与管理平台,提供设备监控、音色与角色管理及对话记录。
- Star
- 1,381
- Fork
- 505
- 未关闭 Issue
- 2
- 最近提交
- 24天前
这是什么?
小智 ESP32 Server Java 是为兼容小智 ESP32 固件的语音硬件开发的 Java 服务端,附带 Web 管理后台,可管理用户、设备、角色及 OTA 升级。独立的对话服务负责 WebSocket 与 MQTT 音频流以及 AI 对话流程。
系统拆分为两个进程:xiaozhi-server 负责管理,xiaozhi-dialogue 负责实时语音,二者共享 MySQL 与 Redis,可分别扩容。语音识别与合成既可使用 sherpa-onnx、Vosk 等本地模型,也可接入阿里云、腾讯云、讯飞等云服务;大语言模型支持 OpenAI、智谱、Ollama、Dify、Coze 等。MCP 工具协议、Function Call、RAG 知识库和声纹识别进一步扩展了助手能力。
可通过 Docker Compose 一键部署,也可从源码构建,需要 JDK 21、Maven、Node 22、MySQL 8 和 Redis 7。模型文件由脚本在首次部署时下载。
核心功能
- 01管理与对话服务分离为两个进程,共享 MySQL 与 Redis,可独立扩容
- 02支持本地与云端语音识别、合成,包括音色克隆与流式交互
- 03接入 OpenAI、智谱、Ollama、Dify、Coze 等多种大模型平台
- 04支持 MCP 工具协议与 Function Call,可用于智能家居控制
- 05基于 PDF、Office 与图片文档的 RAG 知识库
- 06提供长期记忆与声纹识别,支持多位家庭成员
- 07OTA 升级与设备监控、对话记录管理
适用场景
- 在家庭或办公室自建 ESP32 语音助手的服务端
- 通过 OTA 升级与监控批量管理兼容小智的设备
- 基于 MCP 或 Function Call 实现语音控制智能家居
- 使用可替换的语音与大模型服务快速搭建 ESP32 语音 AI 原型
快速上手
- 1
创建并进入目录
mkdir xiaozhi && cd xiaozhi - 2
下载 docker-compose.yml 文件
curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml - 3
启动容器
docker compose up -d - 4
等容器全部 healthy 后打开 http://localhost:8084,使用 admin / 123456 登录,然后配置大模型 API Key
使用前须知
- 系统不预置任何密钥,需要自行配置大模型 API Key 才能对话。
- 部分功能未开源,仅商业版提供。
标签
常见问题
- xiaozhi-esp32-server-java 是什么?
- 面向小智 ESP32 语音设备的 Java 服务端与管理平台,提供设备监控、音色与角色管理及对话记录。 小智 ESP32 Server Java 是为兼容小智 ESP32 固件的语音硬件开发的 Java 服务端,附带 Web 管理后台,可管理用户、设备、角色及 OTA 升级。独立的对话服务负责 WebSocket 与 MQTT 音频流以及 AI 对话流程。
- xiaozhi-esp32-server-java 可以免费使用吗?用的什么许可证?
- xiaozhi-esp32-server-java 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- xiaozhi-esp32-server-java 还在维护吗?
- 活跃维护中。xiaozhi-esp32-server-java 最近一次提交是在 2026年9月27日。
- xiaozhi-esp32-server-java 适合用来做什么?
- 在家庭或办公室自建 ESP32 语音助手的服务端 通过 OTA 升级与监控批量管理兼容小智的设备 基于 MCP 或 Function Call 实现语音控制智能家居 使用可替换的语音与大模型服务快速搭建 ESP32 语音 AI 原型
- xiaozhi-esp32-server-java 怎么安装和运行?
- 创建并进入目录: mkdir xiaozhi && cd xiaozhi 下载 docker-compose.yml 文件: curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml 启动容器: docker compose up -d 等容器全部 healthy 后打开 http://localhost:8084,使用 admin / 123456 登录,然后配置大模型 API Key
- 在哪里获取 xiaozhi-esp32-server-java?
- 源代码和安装说明在 GitHub 上:https://github.com/joey-zhou/xiaozhi-esp32-server-java
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 Spring AI 的 Java 智能体框架,用于构建智能体、工作流和多智能体应用。
基于 Java、LangChain4j、Spring Boot 与 Vue 3 的开源 AI Agent 应用平台,整合模型、智能体、RAG、Skills、MCP 与智能问数。
为 xiaozhi-esp32 ESP32 语音硬件提供后端服务,支持 MQTT+UDP、WebSocket、MCP 接入与声纹识别。
官方 Python SDK,用于构建 Model Context Protocol 服务端和客户端,连接 LLM 应用与工具、数据和提示词。
官方 TypeScript SDK,用于构建 Model Context Protocol 服务端与客户端,为 LLM 应用提供标准化上下文。