音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。
TEN-framework/ten-framework
リアルタイムのマルチモーダル対話型音声AIエージェントを構築するオープンソースフレームワーク。エージェントのサンプルとビジュアルデザイナーを備えています。
- スター
- 11,183
- フォーク
- 1,366
- 未解決の Issue
- 249
- 最終コミット
- 5 時間前
これは何?
TENは、リアルタイムのマルチモーダル対話型AIエージェントを構築するためのオープンソースフレームワークです。音声認識、言語モデル、音声合成をモジュール式の拡張機能で構成したパイプラインでつなぎ、システム全体を書き直すことなく、音声エージェントを組み立てたり、個々のコンポーネントを差し替えたりできます。
リポジトリには、RTCとWebSocket接続に対応した多目的音声アシスタント、Live2Dやアバターを使ったリップシンク対応アシスタント、電話通話用のSIP拡張機能、話者ダイアライゼーションのデモ、文字起こしツール、ESP32-S3とのハードウェア連携など、複数のエージェント例が含まれています。TMAN Designerを使うと、ブラウザー上で拡張機能やAPIキーを設定できます。サンプルはDockerを使ってローカルで実行することも、GitHub Codespacesで実行することもできます。
デプロイ時には、サンプルのバックエンドをDockerイメージとして任意のコンテナプラットフォームで実行できます。フロントエンドはVercelやNetlifyなどのサービスに個別にホスティングできます。
主な機能
- 01音声認識、LLM、音声合成をつなぐモジュール式の拡張機能パイプライン。
- 02RTCとWebSocketの両方の接続に対応する音声アシスタント。
- 03ブラウザー上で拡張機能やAPIキーを設定できるビジュアルツール、TMAN Designer。
- 04Live2Dやアバターのリップシンクのサンプルに加え、電話通話用のSIP拡張機能。
- 05Dockerを使ったデプロイに対応し、フロントエンドはVercelやNetlifyに個別にデプロイ可能。
ユースケース
- ユーザーの音声に対し、LLMと合成音声で応答する音声アシスタントの構築。
- SIP拡張機能を使った、電話通話へのAI音声エージェントの追加。
- リップシンクで話すアニメーションアバターやLive2Dキャラクターのプロトタイピング。
- 会話機能を組み込むための、音声エージェントとESP32-S3ハードウェアの連携。
トピック
よくある質問
- ten-framework とは?
- リアルタイムのマルチモーダル対話型音声AIエージェントを構築するオープンソースフレームワーク。エージェントのサンプルとビジュアルデザイナーを備えています。 TENは、リアルタイムのマルチモーダル対話型AIエージェントを構築するためのオープンソースフレームワークです。音声認識、言語モデル、音声合成をモジュール式の拡張機能で構成したパイプラインでつなぎ、システム全体を書き直すことなく、音声エージェントを組み立てたり、個々のコンポーネントを差し替えたりできます。
- ten-framework は無料で使えますか?ライセンスは?
- ten-framework は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- ten-framework は今もメンテナンスされていますか?
- 活発にメンテナンス中。ten-framework の最終コミットは 2026年10月21日 です。
- ten-framework は何に使えますか?
- ユーザーの音声に対し、LLMと合成音声で応答する音声アシスタントの構築。 SIP拡張機能を使った、電話通話へのAI音声エージェントの追加。 リップシンクで話すアニメーションアバターやLive2Dキャラクターのプロトタイピング。 会話機能を組み込むための、音声エージェントとESP32-S3ハードウェアの連携。
- ten-framework はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/TEN-framework/ten-framework
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
音声クローン、音声生成、あらゆるアプリへの音声入力、AIエージェントの音声化に対応するローカルファーストのオープンソースAI音声スタジオ。
電話やブラウザで使う音声エージェントを構築・テスト・デプロイできる、ビジュアルワークフロービルダーとMCP対応のセルフホスト可能なオープンソース音声AIプラットフォーム。
クラウドプロバイダーにも端末内の完全オフラインモデルにも対応した、会議向けリアルタイム双方向音声翻訳アプリ
646言語に対応した、音声クローンや音声デザイン、動画吹き替え、文字起こしなどを行うローカル優先のオープンソース音声スタジオ。
CPUのみのマシンを含むあらゆるハードウェアで各種AIモデルを動かす、セルフホスト型のOpenAI互換AIエンジン。