asanchezyali/talking-avatar-with-ai

これは何？

主な機能

• 01OpenAI Whisperによる音声入力の文字起こし。
• 02表情とアニメーションのフィールドを含む構造化データをGPTが生成。
• 03Eleven LabsのTTS APIによる音声合成。
• 04Rhubarb Lip Syncによるリップシンク用の音素口形データ生成。
• 05バックエンドと、ローカル開発用のブラウザクライアントを備えたモノレポ構成。

ユースケース

• デモやゲーム向けの会話キャラクターのプロトタイプ作成。
• LLM、音声認識、TTS、リップシンクを1つのパイプラインで連携する方法の学習。
• アニメーション付きの顔を持つバーチャルホストやアシスタントの構築。

クイックスタート

1. 1

   リポジトリをクローンする

2. 2

   プロジェクトディレクトリからモノレポの依存関係をインストールする

   yarn
3. 3

   OpenAIとEleven Labsのキーを記載した.envファイルを/apps/backend/に作成する

4. 4

   開発システムを起動する

   yarn dev

使う前に知っておきたいこと

• !ライセンスが指定されていないため、使用権が不明確です。
• !有料のOpenAIおよびEleven Labsのサブスクリプションが必要です。Eleven Labsの無料プランはリクエスト制限により失敗すると報告されています。
• !実行前にRhubarb Lip-Syncとffmpegを手動でインストールする必要があります。

トピック

よくある質問

talking-avatar-with-ai とは？

音声を聞いてGPTで返答し、ElevenLabsの音声とRhubarbのリップシンクで話すデジタルヒューマンアバター。 会話を聞いて応答するデジタルヒューマンを構築するプロジェクトです。テキストまたは音声の入力からOpenAIのGPTが返答を生成し、音声入力はWhisperで文字起こしします。返答はEleven Labsのテキスト読み上げで音声化され、Rhubarb Lip Syncが音素口形データを生成して、アバターの口の動きを音声に合わせます。

talking-avatar-with-ai は無料で使えますか？ライセンスは？

talking-avatar-with-ai にはライセンスが明記されていません。コードは公開されていますが、ライセンスがない場合は再利用の許諾がないため、利用前に作者に確認することをおすすめします。

talking-avatar-with-ai は今もメンテナンスされていますか？

半年以内に更新あり。talking-avatar-with-ai の最終コミットは 2026年9月16日 です。

talking-avatar-with-ai は何に使えますか？

デモやゲーム向けの会話キャラクターのプロトタイプ作成。 LLM、音声認識、TTS、リップシンクを1つのパイプラインで連携する方法の学習。 アニメーション付きの顔を持つバーチャルホストやアシスタントの構築。

talking-avatar-with-ai のインストール方法は？

リポジトリをクローンする プロジェクトディレクトリからモノレポの依存関係をインストールする: yarn OpenAIとEleven Labsのキーを記載した.envファイルを/apps/backend/に作成する 開発システムを起動する: yarn dev

talking-avatar-with-ai はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/asanchezyali/talking-avatar-with-ai