本地离线运行的 Python 语音处理工具,集成语音识别、语音合成、声音克隆与转换、音乐生成等功能。
Blaizzy/mlx-audio
基于 Apple MLX 框架、在 Apple Silicon 上运行的语音合成、语音识别与语音转语音 Python 库。
- Star
- 8,088
- Fork
- 765
- 未关闭 Issue
- 96
- 最近提交
- 昨天
这是什么?
MLX-Audio 是一个基于 Apple MLX 框架的 Python 音频库,用于在 Apple Silicon Mac 上运行各类音频模型。它覆盖文本转语音(TTS)、语音转文本(STT)、语音转语音(STS)以及音乐生成,并可通过统一的命令行工具和 Python API 加载 Hugging Face 上大量社区转换的模型。
命令行工具 mlx_audio.tts.generate 支持流式输出、直接播放、选择音色以及合并多段音频。模型提供 Python 接口,可用于生成、声音克隆;部分模型还支持词级时间戳或说话人分离。内置转换脚本可将模型量化为 3 至 8 bit,也能转换为 bfloat16。
项目还提供兼容 OpenAI 接口的 REST 服务器(/v1/audio/speech 与 /v1/audio/transcriptions)和 Web 界面。保存为 MP3、FLAC、OGG 或 Opus 需要安装 ffmpeg,WAV 格式则无需。iOS 与 macOS 的 Swift 版本由另一个仓库提供。
核心功能
- 01基于 MLX 的语音合成、语音识别、语音转语音与音乐生成模型
- 02命令行工具和 Python API,可直接加载 Hugging Face 上的模型
- 03支持的 TTS 模型可进行声音克隆和音色选择
- 04部分模型支持流式输出与词级对齐
- 05兼容 OpenAI 接口的 REST 服务器,提供语音合成与转写端点
- 06提供量化与精度转换脚本,支持 3 至 8 bit 及 bfloat16、MXFP 格式
适用场景
- 在 Mac 本地生成语音,无需将文本发送到云端 API
- 在 Apple Silicon 上转写会议或口述内容,并区分说话人
- 为开发中的应用搭建本地的 OpenAI 风格语音接口
- 对录音进行降噪或分离不同说话人
快速上手
- 1
使用 pip 安装软件包
pip install mlx-audio - 2
在命令行中生成语音
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian
使用前须知
- 由于基于 MLX 框架构建,仅能在 Apple Silicon Mac 上原生运行。
- 采用 MIT 许可证,无 copyleft 义务。
标签
常见问题
- mlx-audio 是什么?
- 基于 Apple MLX 框架、在 Apple Silicon 上运行的语音合成、语音识别与语音转语音 Python 库。 MLX-Audio 是一个基于 Apple MLX 框架的 Python 音频库,用于在 Apple Silicon Mac 上运行各类音频模型。它覆盖文本转语音(TTS)、语音转文本(STT)、语音转语音(STS)以及音乐生成,并可通过统一的命令行工具和 Python API 加载 Hugging Face 上大量社区转换的模型。
- mlx-audio 可以免费使用吗?用的什么许可证?
- mlx-audio 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- mlx-audio 还在维护吗?
- 活跃维护中。mlx-audio 最近一次提交是在 2026年10月21日。
- mlx-audio 适合用来做什么?
- 在 Mac 本地生成语音,无需将文本发送到云端 API 在 Apple Silicon 上转写会议或口述内容,并区分说话人 为开发中的应用搭建本地的 OpenAI 风格语音接口 对录音进行降噪或分离不同说话人
- mlx-audio 怎么安装和运行?
- 使用 pip 安装软件包: pip install mlx-audio 在命令行中生成语音: mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian
- 在哪里获取 mlx-audio?
- 源代码和安装说明在 GitHub 上:https://github.com/Blaizzy/mlx-audio
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
VoxCPM2 是一个开源的免分词器语音合成模型,支持 30 种语言、文本描述设计音色和参考音频克隆。
开源文本转语音系统,支持声音克隆、自然语言控制情绪和多角色语音生成。
Resemble AI 开源的文本转语音模型系列,支持基于参考音频的声音克隆,覆盖英语及多种其他语言。
开源文本转语音库,KittenTTS 2 可从几秒音频克隆声音,并能在 CPU 上实时合成。
开源多语言零样本语音合成模型,支持 600 多种语言,并可克隆与设计声音。