Repolode
TEN-framework

TEN-framework/ten-framework

リアルタイムのマルチモーダル対話型音声AIエージェントを構築するオープンソースフレームワーク。エージェントのサンプルとビジュアルデザイナーを備えています。

スター
11,183
フォーク
1,366
未解決の Issue
249
最終コミット
5 時間前

これは何?

TENは、リアルタイムのマルチモーダル対話型AIエージェントを構築するためのオープンソースフレームワークです。音声認識、言語モデル、音声合成をモジュール式の拡張機能で構成したパイプラインでつなぎ、システム全体を書き直すことなく、音声エージェントを組み立てたり、個々のコンポーネントを差し替えたりできます。

リポジトリには、RTCとWebSocket接続に対応した多目的音声アシスタント、Live2Dやアバターを使ったリップシンク対応アシスタント、電話通話用のSIP拡張機能、話者ダイアライゼーションのデモ、文字起こしツール、ESP32-S3とのハードウェア連携など、複数のエージェント例が含まれています。TMAN Designerを使うと、ブラウザー上で拡張機能やAPIキーを設定できます。サンプルはDockerを使ってローカルで実行することも、GitHub Codespacesで実行することもできます。

デプロイ時には、サンプルのバックエンドをDockerイメージとして任意のコンテナプラットフォームで実行できます。フロントエンドはVercelやNetlifyなどのサービスに個別にホスティングできます。

主な機能

  • 01音声認識、LLM、音声合成をつなぐモジュール式の拡張機能パイプライン。
  • 02RTCとWebSocketの両方の接続に対応する音声アシスタント。
  • 03ブラウザー上で拡張機能やAPIキーを設定できるビジュアルツール、TMAN Designer。
  • 04Live2Dやアバターのリップシンクのサンプルに加え、電話通話用のSIP拡張機能。
  • 05Dockerを使ったデプロイに対応し、フロントエンドはVercelやNetlifyに個別にデプロイ可能。

ユースケース

  • ユーザーの音声に対し、LLMと合成音声で応答する音声アシスタントの構築。
  • SIP拡張機能を使った、電話通話へのAI音声エージェントの追加。
  • リップシンクで話すアニメーションアバターやLive2Dキャラクターのプロトタイピング。
  • 会話機能を組み込むための、音声エージェントとESP32-S3ハードウェアの連携。

トピック

よくある質問

ten-framework とは?
リアルタイムのマルチモーダル対話型音声AIエージェントを構築するオープンソースフレームワーク。エージェントのサンプルとビジュアルデザイナーを備えています。 TENは、リアルタイムのマルチモーダル対話型AIエージェントを構築するためのオープンソースフレームワークです。音声認識、言語モデル、音声合成をモジュール式の拡張機能で構成したパイプラインでつなぎ、システム全体を書き直すことなく、音声エージェントを組み立てたり、個々のコンポーネントを差し替えたりできます。
ten-framework は無料で使えますか?ライセンスは?
ten-framework は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ten-framework は今もメンテナンスされていますか?
活発にメンテナンス中。ten-framework の最終コミットは 2026年10月21日 です。
ten-framework は何に使えますか?
ユーザーの音声に対し、LLMと合成音声で応答する音声アシスタントの構築。 SIP拡張機能を使った、電話通話へのAI音声エージェントの追加。 リップシンクで話すアニメーションアバターやLive2Dキャラクターのプロトタイピング。 会話機能を組み込むための、音声エージェントとESP32-S3ハードウェアの連携。
ten-framework はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/TEN-framework/ten-framework

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト