Xiaozhi ESP32 음성 기기를 위한 Java 서버 및 관리 플랫폼으로, 기기 모니터링과 음성·페르소나 관리, 대화 로그 기능을 제공합니다.
xinnan-tech/xiaozhi-esp32-server
xiaozhi-esp32 ESP32 음성 기기를 위한 Python/Java/Vue 백엔드 서버로, MQTT+UDP, WebSocket, MCP, 화자 인식, 지식 베이스를 지원합니다.
- 스타
- 10,940
- 포크
- 3,716
- 열린 이슈
- 732
- 마지막 커밋
- 5시간 전
어떤 프로젝트인가요?
xiaozhi-esp32-server는 xiaozhi-esp32 오픈소스 스마트 하드웨어 프로젝트를 위한 자체 호스팅 백엔드입니다. Python, Java, Vue로 xiaozhi 통신 프로토콜을 구현해 ESP32 음성 기기를 호스팅 서비스 대신 직접 운영하는 서버에 연결할 수 있습니다.
서버는 스트리밍 음성 인식, 스트리밍 음성 합성, 음성 활동 감지 등 음성 처리 파이프라인을 담당하며, FunASR, SherpaASR 같은 로컬 모델이나 ASR, LLM, VLLM, TTS용 클라우드 API를 선택해 사용할 수 있습니다. 함수 호출을 통한 의도 인식, 여러 메모리 백엔드, RAGFlow 지식 베이스 검색, IoT·MCP·사용자 지정 함수 프로토콜을 통한 도구 호출도 지원합니다.
전체 모듈을 배포하면 사용자, 기기, 에이전트를 관리하는 웹 콘솔을 사용할 수 있으며, 설정 파일 모드에서는 데이터베이스 없이 실행할 수 있습니다. Docker를 사용하거나 소스 코드에서 배포할 수 있습니다.
핵심 기능
- 01ESP32 기기를 위한 MQTT+UDP 게이트웨이와 WebSocket 연결을 지원합니다.
- 02다양한 클라우드 및 로컬 제공자를 통해 스트리밍 ASR, TTS, 음성 활동 감지를 지원합니다.
- 03화자 등록과 화자 식별을 지원하며, 식별 결과를 LLM에 전달합니다.
- 04IoT, MCP 클라이언트/서버, 사용자 지정 함수 프로토콜을 통한 도구 호출을 지원합니다.
- 05Docker 또는 소스 코드 배포를 지원하며, 사용자, 기기, 에이전트 관리용 웹 콘솔을 제공합니다.
활용 사례
- 직접 구축한 xiaozhi-esp32 음성 비서용 비공개 백엔드 운영.
- ESP32 기기를 OpenAI 호환 API 또는 중국 내 LLM API에 연결.
- 서버에서 가전제품을 제어하거나 기기로 MCP 명령 전송.
- 사양이 낮은 하드웨어에서 지식 베이스 검색 기능을 갖춘 음성 에이전트 프로토타이핑.
빠른 시작
- 1
README 표에서 배포 모드(minimal 또는 full module)를 선택합니다
- 2
선택한 모드에 맞는 Docker 또는 소스 배포 가이드를 따릅니다
사용 전 알아둘 점
- README에 따르면 프로젝트가 아직 완성되지 않았고 보안 테스트도 통과하지 않았으므로 프로덕션 환경에서 사용해서는 안 됩니다.
- ESP32 하드웨어 기기에서 작동하도록 설계되어 있으며, 호환되는 하드웨어를 보유한 경우에만 유용합니다.
- 음성, LLM, TTS를 위해 타사 API 서비스를 사용하며, 일부 서비스는 유료 키가 필요합니다.
- FunASR 같은 로컬 모델을 실행하려면 2코어와 RAM 4GB가 필요하며, full module 설정에는 4코어와 RAM 8GB가 필요합니다.
토픽
자주 묻는 질문
- xiaozhi-esp32-server은(는) 무엇인가요?
- xiaozhi-esp32 ESP32 음성 기기를 위한 Python/Java/Vue 백엔드 서버로, MQTT+UDP, WebSocket, MCP, 화자 인식, 지식 베이스를 지원합니다. xiaozhi-esp32-server는 xiaozhi-esp32 오픈소스 스마트 하드웨어 프로젝트를 위한 자체 호스팅 백엔드입니다. Python, Java, Vue로 xiaozhi 통신 프로토콜을 구현해 ESP32 음성 기기를 호스팅 서비스 대신 직접 운영하는 서버에 연결할 수 있습니다.
- xiaozhi-esp32-server은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- xiaozhi-esp32-server은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- xiaozhi-esp32-server은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. xiaozhi-esp32-server의 마지막 커밋은 2026년 10월 20일입니다.
- xiaozhi-esp32-server은(는) 어디에 사용할 수 있나요?
- 직접 구축한 xiaozhi-esp32 음성 비서용 비공개 백엔드 운영. ESP32 기기를 OpenAI 호환 API 또는 중국 내 LLM API에 연결. 서버에서 가전제품을 제어하거나 기기로 MCP 명령 전송. 사양이 낮은 하드웨어에서 지식 베이스 검색 기능을 갖춘 음성 에이전트 프로토타이핑.
- xiaozhi-esp32-server는 어떻게 설치하나요?
- README 표에서 배포 모드(minimal 또는 full module)를 선택합니다 선택한 모드에 맞는 Docker 또는 소스 배포 가이드를 따릅니다
- xiaozhi-esp32-server은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/xinnan-tech/xiaozhi-esp32-server
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Xiaomi AI Speaker를 ChatGPT 및 다른 LLM의 음성 인터페이스로 바꿔, 호출어 뒤에 말한 질문을 모델로 보내고 답변을 음성으로 들려줍니다.
AI 코딩 에이전트에 최신 버전별 라이브러리 문서와 코드 예제를 제공하는 MCP 서버 및 CLI입니다.
Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다.
주제나 문서를 AI 교사, 슬라이드, 퀴즈, 시뮬레이션이 있는 대화형 교실로 바꾸는 오픈소스 플랫폼입니다.
다양한 LLM API, 이미지 생성기, TTS 음성 모델과 대화할 수 있는 로컬 설치형 파워 유저용 프런트엔드입니다.