Repolode
semperai

semperai/amica

音声チャット、視覚機能、感情表現に対応した、カスタマイズ可能な3D VRMキャラクターと会話するためのオープンソースWebインターフェース。

スター
1,617
フォーク
271
未解決の Issue
19
最終コミット
29 日前

これは何?

Amicaは、3Dキャラクターと会話できるブラウザベースのインターフェースです。VRMモデルをインポートしてキャラクターの声を調整でき、返答に感情表現を含めることもできます。ブラウザ上で動作するほか、Tauriを使ってデスクトップアプリとしてパッケージ化することも可能です。

Amicaは複数のAIコンポーネントを1つのパイプラインに統合しています。音声入力にはWhisperとSilero VADによる音声認識を使い、さまざまなチャットバックエンドで返答を生成し、音声出力にはテキスト読み上げエンジンを利用します。対応するチャットバックエンドには、Ollama、Llama.cpp server、KoboldCpp、Oobabooga、OpenRouter、OpenAI互換APIがあります。テキスト読み上げの選択肢は、ElevenLabs、OpenAI、Speech T5、Coqui、RVC、AllTalkTTSです。視覚機能にはBakLLaVAを利用できます。

このプロジェクトはPixivのChatVRMからフォークされました。設定は主に.env.localファイルで行い、Next.jsとthree.jsで構築されています。

主な機能

  • 01VRM形式の3Dキャラクターモデルをインポートして表示
  • 02音声認識とテキスト読み上げに対応した音声チャット
  • 03返答に感情表現を含める
  • 04Ollama、OpenRouter、OpenAI互換APIなど複数のチャットバックエンドに対応
  • 05ローカルおよびクラウドの複数のテキスト読み上げエンジンを利用可能
  • 06Tauriを使ってデスクトップアプリとしてビルド可能

ユースケース

  • バーチャルコンパニオンやキャラクターとのチャット体験を構築する
  • 3Dアバターと組み合わせてローカルLLMを試す
  • カスタマイズ可能なキャラクターを使った音声操作アシスタントをプロトタイピングする

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone git@github.com:semperai/amica.git
  2. 2

    必要なパッケージをインストールする

    npm install
  3. 3

    開発用Webサーバーを起動する

    npm run dev
  4. 4

    http://localhost:3000 を開いて動作を確認する

使う前に知っておきたいこと

  • OpenRouterやChatGPT APIなどのチャットバックエンドを利用するには、自分のAPIキーが必要です。
  • ローカル環境のセットアップにはNode.jsとnpmが必要で、設定は.env.localとconfig.tsに分散しています。
  • 3Dモデルや画像などのアセットには、MITコードライセンスとは別に、それぞれのライセンスが適用されます。

トピック

よくある質問

amica とは?
音声チャット、視覚機能、感情表現に対応した、カスタマイズ可能な3D VRMキャラクターと会話するためのオープンソースWebインターフェース。 Amicaは、3Dキャラクターと会話できるブラウザベースのインターフェースです。VRMモデルをインポートしてキャラクターの声を調整でき、返答に感情表現を含めることもできます。ブラウザ上で動作するほか、Tauriを使ってデスクトップアプリとしてパッケージ化することも可能です。
amica は無料で使えますか?ライセンスは?
amica は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
amica は今もメンテナンスされていますか?
活発にメンテナンス中。amica の最終コミットは 2026年9月22日 です。
amica は何に使えますか?
バーチャルコンパニオンやキャラクターとのチャット体験を構築する 3Dアバターと組み合わせてローカルLLMを試す カスタマイズ可能なキャラクターを使った音声操作アシスタントをプロトタイピングする
amica のインストール方法は?
リポジトリをクローンする: git clone git@github.com:semperai/amica.git 必要なパッケージをインストールする: npm install 開発用Webサーバーを起動する: npm run dev http://localhost:3000 を開いて動作を確認する
amica はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/semperai/amica

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト