Repolode
xszyou

xszyou/Fay

デジタルヒューマン(2.5D、3D、モバイル、PC、Web)とLLM(OpenAI互換、DeepSeek)を業務システムにつなぐエージェントフレームワーク。

スター
13,582
フォーク
2,367
未解決の Issue
130
最終コミット
30 日前

これは何?

Fayは、デジタルヒューマン(アバター)を実際の製品に組み込むためのフレームワークです。フロントエンドではさまざまなデジタルヒューマンの描画技術に対応し、バックエンドではOpenAI互換APIやDeepSeekなどの大規模言語モデルに接続します。音声認識(ASR)と音声合成(TTS)のモデルは入れ替えられるため、必要な音声・アバターのパイプラインを組み立てられます。

フレームワークは、テキストチャット、音声対話、デジタルヒューマンの駆動、管理制御、自動配信、インテント処理の各インターフェースを提供します。完全オフラインで動作し、ストリーミング、ウェイクワード、割り込み処理、複数ユーザーの同時利用に対応しています。クライアントには、マイコン、モバイルアプリ、Webサイト、大型ディスプレイ、サードパーティの業務システムを利用できます。

Fayには、ナレッジベース、カスタムQ&A、ペルソナ設定、エージェントによるツール呼び出し、MCPツール管理機能もあります。設定用のWeb管理画面も備えています。

主な機能

  • 01デジタルヒューマン(2.5D、3D、モバイル、PC、Web)をLLMや音声モデルに接続できます。
  • 02OpenAI互換のLLM APIとDeepSeekの推論モデルに対応しています。
  • 03ASRモデルとTTSモデルを個別に入れ替えられます。
  • 04テキスト、音声、駆動、制御、配信、インテント処理の各APIを提供します。
  • 05ウェイクワード、割り込み、複数ユーザーの同時セッションに対応しています。
  • 06カスタムナレッジベース、Q&A、ペルソナ設定、MCPツール管理を利用できます。

ユースケース

  • バーチャル教師、バーチャル司会者、自動ニュース配信システムの構築。
  • Webサイトやアプリへの、音声で操作できるデジタルヒューマンアシスタントの追加。
  • 統一APIを通じた、LLMと既存の業務システムの接続。
  • ローカルハードウェア上での、オフライン音声・アバターアシスタントの実行。

クイックスタート

  1. 1

    Python 3.12をインストールし、Ubuntuではbuild-essentialとportaudio19-devもインストールします

  2. 2

    requirements.txtから依存関係をインストールします

    pip install -r requirements.txt
  3. 3

    公開設定センターを使ってプロジェクトを起動します(低速です。自分のキーに置き換えてください)

    python main.py start -config_center d19f7b0a-2b8a-4503-8c0d-1a587b90eb69
  4. 4

    ブラウザーで http://127.0.0.1:5000 にアクセスして管理ページを開きます

使う前に知っておきたいこと

  • Python 3.12が必須です。
  • デフォルトの公開設定センターは非常に遅いため、自分のAPIキーを設定してください。
  • ドキュメントとコミュニティの情報は、主にFeishuと中国語で提供されています。

トピック

よくある質問

Fay とは?
デジタルヒューマン(2.5D、3D、モバイル、PC、Web)とLLM(OpenAI互換、DeepSeek)を業務システムにつなぐエージェントフレームワーク。 Fayは、デジタルヒューマン(アバター)を実際の製品に組み込むためのフレームワークです。フロントエンドではさまざまなデジタルヒューマンの描画技術に対応し、バックエンドではOpenAI互換APIやDeepSeekなどの大規模言語モデルに接続します。音声認識(ASR)と音声合成(TTS)のモデルは入れ替えられるため、必要な音声・アバターのパイプラインを組み立てられます。
Fay は無料で使えますか?ライセンスは?
Fay は GPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Fay は今もメンテナンスされていますか?
活発にメンテナンス中。Fay の最終コミットは 2026年9月21日 です。
Fay は何に使えますか?
バーチャル教師、バーチャル司会者、自動ニュース配信システムの構築。 Webサイトやアプリへの、音声で操作できるデジタルヒューマンアシスタントの追加。 統一APIを通じた、LLMと既存の業務システムの接続。 ローカルハードウェア上での、オフライン音声・アバターアシスタントの実行。
Fay のインストール方法は?
Python 3.12をインストールし、Ubuntuではbuild-essentialとportaudio19-devもインストールします requirements.txtから依存関係をインストールします: pip install -r requirements.txt 公開設定センターを使ってプロジェクトを起動します(低速です。自分のキーに置き換えてください): python main.py start -config_center d19f7b0a-2b8a-4503-8c0d-1a587b90eb69 ブラウザーで http://127.0.0.1:5000 にアクセスして管理ページを開きます
Fay はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/xszyou/Fay

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト