デジタルヒューマン(2.5D、3D、モバイル、PC、Web)とLLM(OpenAI互換、DeepSeek)を業務システムにつなぐエージェントフレームワーク。
joey-zhou/xiaozhi-esp32-server-java
Xiaozhi ESP32音声デバイス向けのJavaサーバー兼管理プラットフォーム。デバイス監視、音声・ペルソナ管理、会話ログに対応します。
- スター
- 1,381
- フォーク
- 505
- 未解決の Issue
- 2
- 最終コミット
- 23 日前
これは何?
Xiaozhi ESP32 Server Javaは、Xiaozhi ESP32ファームウェアと互換性のあるESP32ベースの音声デバイス向けJavaバックエンドです。ユーザー、デバイス、ロール、OTAアップグレードを管理するWeb管理コンソールと、WebSocketやMQTTによる音声ストリームおよびAI会話パイプラインを処理する独立した対話サービスを備えています。
システムは、管理用のxiaozhi-serverとリアルタイム音声処理用のxiaozhi-dialogueという2つのプロセスに分かれており、MySQLとRedisを共有しながら個別にスケールできます。音声認識と音声合成にはsherpa-onnxやVoskなどのローカルモデル、またはクラウドプロバイダーを利用できます。言語モデルはOpenAI、Zhipu、Ollama、Dify、Cozeなどから選べます。MCPツール対応、function calling、RAGナレッジベース、声紋認識によってアシスタントの機能を拡張できます。
Docker Composeによるデプロイ、またはJDK 21、Maven、Node 22、MySQL 8、Redis 7を使ったソースからの構築に対応しています。初回起動時には、付属のスクリプトでモデルをダウンロードします。
主な機能
- 01MySQLとRedisを共有しながら個別にスケールできる、管理用と対話用の独立したプロセス
- 02音声クローンやストリーミング対話にも対応した、ローカルおよびクラウドの音声認識・音声合成
- 03OpenAI、Zhipu、Ollama、Dify、Cozeなど、各種LLMプロバイダーとの連携
- 04スマートホーム制御に使えるMCPツールプロトコル対応とfunction calling
- 05PDF、Office、画像ドキュメントに対応したRAGナレッジベース
- 06複数の家族メンバーに対応する長期記憶と声紋認識
ユースケース
- 家庭やオフィスのESP32デバイス向けに、セルフホスト型の音声アシスタントバックエンドを運用する
- OTAアップグレードと監視を通じて、Xiaozhi互換デバイスを一元管理する
- MCPやfunction callingを使ってスマートホームデバイスを操作する音声アシスタントを構築する
- 音声認識・音声合成やLLMプロバイダーを切り替えながら、ESP32ハードウェア上でAI音声製品のプロトタイプを開発する
クイックスタート
- 1
フォルダーを作成して、その中に移動します
mkdir xiaozhi && cd xiaozhi - 2
docker-compose.yml ファイルをダウンロードします
curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml - 3
コンテナを起動します
docker compose up -d - 4
コンテナが正常な状態になったら、http://localhost:8084 を開き、admin / 123456 でログインして、LLM API キーを設定します
使う前に知っておきたいこと
- システムで会話するには、ご自身の LLM API キーを用意する必要があります。キーは付属していません。
- 一部の機能はオープンソースではなく、商用版でのみ利用できます。
トピック
よくある質問
- xiaozhi-esp32-server-java とは?
- Xiaozhi ESP32音声デバイス向けのJavaサーバー兼管理プラットフォーム。デバイス監視、音声・ペルソナ管理、会話ログに対応します。 Xiaozhi ESP32 Server Javaは、Xiaozhi ESP32ファームウェアと互換性のあるESP32ベースの音声デバイス向けJavaバックエンドです。ユーザー、デバイス、ロール、OTAアップグレードを管理するWeb管理コンソールと、WebSocketやMQTTによる音声ストリームおよびAI会話パイプラインを処理する独立した対話サービスを備えています。
- xiaozhi-esp32-server-java は無料で使えますか?ライセンスは?
- xiaozhi-esp32-server-java は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- xiaozhi-esp32-server-java は今もメンテナンスされていますか?
- 活発にメンテナンス中。xiaozhi-esp32-server-java の最終コミットは 2026年9月27日 です。
- xiaozhi-esp32-server-java は何に使えますか?
- 家庭やオフィスのESP32デバイス向けに、セルフホスト型の音声アシスタントバックエンドを運用する OTAアップグレードと監視を通じて、Xiaozhi互換デバイスを一元管理する MCPやfunction callingを使ってスマートホームデバイスを操作する音声アシスタントを構築する 音声認識・音声合成やLLMプロバイダーを切り替えながら、ESP32ハードウェア上でAI音声製品のプロトタイプを開発する
- xiaozhi-esp32-server-java のインストール方法は?
- フォルダーを作成して、その中に移動します: mkdir xiaozhi && cd xiaozhi docker-compose.yml ファイルをダウンロードします: curl -O https://raw.githubusercontent.com/joey-zhou/xiaozhi-esp32-server-java/main/docker-compose.yml コンテナを起動します: docker compose up -d コンテナが正常な状態になったら、http://localhost:8084 を開き、admin / 123456 でログインして、LLM API キーを設定します
- xiaozhi-esp32-server-java はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/joey-zhou/xiaozhi-esp32-server-java
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
xiaozhi-esp32のESP32音声デバイス向けPython/Java/Vueバックエンド。MQTT+UDP、WebSocket、MCP、声紋認識、ナレッジベースに対応。
LLMアプリケーションをツール、データ、プロンプトに接続するModel Context Protocolサーバーとクライアントを構築するための公式Python SDK。
LLMアプリケーションに標準化されたコンテキストを提供する、Model Context Protocolサーバーとクライアント構築用の公式TypeScript SDK。
主要なLLMプロバイダーに接続し、ローカルナレッジベースを備えたMCPクライアントとしても使えるクロスプラットフォームのデスクトップAIアシスタント。
LLMクライアントがバイナリを逆コンパイル・解析できるよう、Ghidraのリバースエンジニアリング機能を公開するMCPサーバー。