Repolode
提交项目
ysharma3501

ysharma3501/LuxTTS

基于 ZipVoice 的轻量级 TTS 模型，支持声音克隆与 48kHz 语音生成，GPU 上可达 150 倍实时速度。

可替代:ElevenLabs

在 GitHub 查看
Star
5,487
Fork
685
未关闭 Issue
32
最近提交
5个月前

这是什么？

LuxTTS 是一个基于 ZipVoice 架构的文本转语音模型，采样步数经蒸馏压缩到 4 步。给定一段简短的参考录音，它可以克隆说话人的音色并根据文本生成语音。输出采样率为 48kHz，使用自定义声码器，而 ZipVoice 默认版本为 24kHz。

项目侧重速度与低显存占用。单张 GPU 上可达约 150 倍实时速度，CPU 上也快于实时，显存占用约 1GB。支持 CUDA、CPU 以及 Mac 上的 MPS 设备。

使用方式为 Python API：通过 LuxTTS(...) 加载模型，用 encode_prompt 编码参考音频，再调用 generate_speech 生成语音，并可调整 num_steps、speed、t_shift 等参数。仓库提供 Hugging Face 模型与 Space、Colab 笔记本，以及 Gradio 应用、ComfyUI 节点、ONNX 版本等社区集成。

核心功能

  • 01基于短参考音频（wav 或 mp3，建议至少 3 秒）进行声音克隆。
  • 02输出 48kHz 语音。
  • 03单 GPU 可达 150 倍实时速度，CPU 上也快于实时。
  • 04显存占用约 1GB。
  • 05支持 CUDA、CPU 和 Apple MPS 设备。

适用场景

  • 在本地 GPU 上用克隆音色生成配音或旁白。
  • 在笔记本 CPU 或 Mac 上运行语音合成。
  • 为需要快速、高采样率语音的应用构建 TTS 后端。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/ysharma3501/LuxTTS.git
  2. 2

    进入项目目录

    cd LuxTTS
  3. 3

    安装依赖

    pip install -r requirements.txt
  4. 4

    在Python中于GPU上加载模型并生成语音（参见README中的推理示例）

    from zipvoice.luxvoice import LuxTTS

使用前须知

  • 语音克隆需要至少3秒的参考音频。
  • 宣称的150倍实时速度基于单块GPU；README仅说明CPU可快于实时，未提供其他平台的基准数据。
  • 尚未发布float16推理，目前以float32运行。

标签

#text-to-speech#voice-cloning#speech-synthesis#pytorch#audio#deep-learning

常见问题

LuxTTS 是什么？
基于 ZipVoice 的轻量级 TTS 模型，支持声音克隆与 48kHz 语音生成，GPU 上可达 150 倍实时速度。 LuxTTS 是一个基于 ZipVoice 架构的文本转语音模型，采样步数经蒸馏压缩到 4 步。给定一段简短的参考录音，它可以克隆说话人的音色并根据文本生成语音。输出采样率为 48kHz，使用自定义声码器，而 ZipVoice 默认版本为 24kHz。
LuxTTS 可以免费使用吗？用的什么许可证？
LuxTTS 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
LuxTTS 还在维护吗？
半年内有更新。LuxTTS 最近一次提交是在 2026年6月5日。
LuxTTS 适合用来做什么？
在本地 GPU 上用克隆音色生成配音或旁白。 在笔记本 CPU 或 Mac 上运行语音合成。 为需要快速、高采样率语音的应用构建 TTS 后端。
LuxTTS 怎么安装和运行？
克隆仓库: git clone https://github.com/ysharma3501/LuxTTS.git 进入项目目录: cd LuxTTS 安装依赖: pip install -r requirements.txt 在Python中于GPU上加载模型并生成语音（参见README中的推理示例）: from zipvoice.luxvoice import LuxTTS
在哪里获取 LuxTTS？
源代码和安装说明在 GitHub 上：https://github.com/ysharma3501/LuxTTS

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目