开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。
1.7万2904PythonBSD-2-Clause更新于 前天
开源的实时多模态语音对话 AI Agent 框架,附带多个示例应用和可视化设计器。
TEN 是一个用于构建实时多模态对话 AI Agent 的开源框架。它把语音识别、大语言模型和语音合成等能力组织成由模块化扩展组成的处理流程,开发者可以单独替换其中的组件,而无需重写整个系统。
仓库提供了多个示例:支持 RTC 和 WebSocket 连接的通用语音助手、带 Live2D 与数字人口型同步的角色助手、用于电话呼叫的 SIP 扩展、实时说话人分离演示、语音转写工具,以及运行在 ESP32-S3 开发板上的硬件集成示例。通过 TMAN Designer,可以在浏览器中配置扩展及其 API 密钥。
示例可以用 Docker 在本地运行,也可以在 GitHub Codespaces 中运行。后端示例提供 Docker 镜像,可部署到任意容器平台,前端则可以单独部署到 Vercel 或 Netlify 等服务。
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。
本地优先的开源 AI 语音工作室,支持克隆声音、生成语音、语音听写和为 AI 智能体提供语音输出。
可自托管的开源语音 AI 平台,用于构建、测试和部署电话与网页语音智能体,提供可视化工作流编辑器。
面向双语会议的实时双向语音翻译工具,支持云端服务或完全离线的本地推理,提供桌面应用和浏览器扩展。
开源、本地运行的语音工作室,支持声音克隆、声音设计、视频配音、听写、转录和有声书制作。
自托管的 OpenAI 兼容 AI 引擎,可在任意硬件(含纯 CPU)上运行大模型、视觉、语音、图像和视频模型。