Xiaozhi ESP32音声デバイス向けのJavaサーバー兼管理プラットフォーム。デバイス監視、音声・ペルソナ管理、会話ログに対応します。
xinnan-tech/xiaozhi-esp32-server
xiaozhi-esp32のESP32音声デバイス向けPython/Java/Vueバックエンド。MQTT+UDP、WebSocket、MCP、声紋認識、ナレッジベースに対応。
- スター
- 10,940
- フォーク
- 3,716
- 未解決の Issue
- 732
- 最終コミット
- 5 時間前
これは何?
xiaozhi-esp32-serverは、オープンソースのスマートハードウェアプロジェクトxiaozhi-esp32向けのセルフホスト型バックエンドです。Python、Java、Vueでxiaozhiの通信プロトコルを実装しており、ESP32音声デバイスをホステッドサービスではなく、自分で運用するサーバーに接続できます。
音声パイプラインでは、ストリーミング音声認識、ストリーミング音声合成、音声アクティビティ検出を処理します。ASR、LLM、VLLM、TTSにはFunASRやSherpaASRなどのローカルモデル、またはクラウドAPIを選択できます。また、function callingによるインテント認識、複数のメモリバックエンド、RAGFlowのナレッジベース検索、IoT、MCP、カスタム関数プロトコル経由のツール呼び出しにも対応しています。
全モジュールをデプロイすると、ユーザー、デバイス、エージェントを管理するWebコンソールを利用できます。また、設定ファイルモードではデータベースなしで動作します。Dockerまたはソースコードからデプロイできます。
主な機能
- 01ESP32デバイス向けに、MQTT+UDPゲートウェイとWebSocket接続に対応。
- 02多様なクラウド/ローカルプロバイダーを選べる、ストリーミングASR、TTS、音声アクティビティ検出。
- 03声紋を登録して話者を識別し、その情報をLLMに渡せます。
- 04IoT、MCPクライアント/サーバー、カスタム関数プロトコル経由のツール呼び出し。
- 05ユーザー、デバイス、エージェントを管理するWebコンソールを提供。Dockerまたはソースコードからデプロイできます。
ユースケース
- 自作のxiaozhi-esp32音声アシスタント向けに、プライベートなバックエンドを運用する。
- ESP32デバイスをOpenAI互換APIや国内のLLM APIに接続する。
- サーバーから家電を制御したり、デバイスにMCPコマンドを送信したりする。
- 低スペックのハードウェアで、ナレッジベース検索を備えた音声エージェントを試作する。
クイックスタート
- 1
README の表からデプロイモード(minimal または full module)を選択します
- 2
選択したモードに対応する Docker またはソースからのデプロイガイドに従います
使う前に知っておきたいこと
- README によると、プロジェクトは未完成でセキュリティテストも完了していないため、本番環境では使用しないでください。
- ESP32 ハードウェアデバイスで動作するよう設計されており、互換性のあるハードウェアを所有している場合にのみ役立ちます。
- 音声認識、LLM、TTS にサードパーティの API サービスを利用しており、一部では有料のキーが必要です。
- FunASR などのローカルモデルで実行するには、2 コアと 4 GB の RAM が必要です。full module 構成では 4 コアと 8 GB の RAM が必要です。
トピック
よくある質問
- xiaozhi-esp32-server とは?
- xiaozhi-esp32のESP32音声デバイス向けPython/Java/Vueバックエンド。MQTT+UDP、WebSocket、MCP、声紋認識、ナレッジベースに対応。 xiaozhi-esp32-serverは、オープンソースのスマートハードウェアプロジェクトxiaozhi-esp32向けのセルフホスト型バックエンドです。Python、Java、Vueでxiaozhiの通信プロトコルを実装しており、ESP32音声デバイスをホステッドサービスではなく、自分で運用するサーバーに接続できます。
- xiaozhi-esp32-server は無料で使えますか?ライセンスは?
- xiaozhi-esp32-server は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- xiaozhi-esp32-server は今もメンテナンスされていますか?
- 活発にメンテナンス中。xiaozhi-esp32-server の最終コミットは 2026年10月20日 です。
- xiaozhi-esp32-server は何に使えますか?
- 自作のxiaozhi-esp32音声アシスタント向けに、プライベートなバックエンドを運用する。 ESP32デバイスをOpenAI互換APIや国内のLLM APIに接続する。 サーバーから家電を制御したり、デバイスにMCPコマンドを送信したりする。 低スペックのハードウェアで、ナレッジベース検索を備えた音声エージェントを試作する。
- xiaozhi-esp32-server のインストール方法は?
- README の表からデプロイモード(minimal または full module)を選択します 選択したモードに対応する Docker またはソースからのデプロイガイドに従います
- xiaozhi-esp32-server はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/xinnan-tech/xiaozhi-esp32-server
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Xiaomi AI SpeakerをChatGPTなどのLLMの音声フロントエンドにし、ウェイクワードの後に話しかけるとモデルに質問を送り、回答を音声で再生します。
AIコーディングエージェントに、最新かつバージョンに合ったライブラリのドキュメントとコード例を提供するMCPサーバー兼CLI。
Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
あらゆるトピックや資料を、AI教師・スライド・クイズ・シミュレーションを備えた対話型教室に変えるオープンソースプラットフォーム。
多数のLLM API、画像生成エンジン、TTS音声モデルとチャットできる、ローカルインストール型のパワーユーザー向けフロントエンド。