Repolode
ysharma3501

ysharma3501/LuxTTS

Лёгкая TTS-модель на базе ZipVoice для клонирования голоса и генерации речи с частотой 48 кГц, работающая на GPU быстрее реального времени более чем в 150 раз.

Open source альтернатива:ElevenLabs

Звёзды
5,487
Форки
685
Открытые issues
32
Последний коммит
5 месяцев назад

Что это?

LuxTTS — модель преобразования текста в речь на базе архитектуры ZipVoice, дистиллированная до 4 шагов сэмплирования. По короткой записи-образцу она клонирует голос говорящего и генерирует речь из текста. Частота дискретизации результата — 48 кГц; для этого используется собственный вокодер, тогда как стандартная конфигурация ZipVoice работает на 24 кГц.

Проект ориентирован на высокую скорость и низкое потребление памяти. Заявлена скорость до 150 раз выше реального времени на одной GPU, работа быстрее реального времени на CPU и потребление около 1 ГБ VRAM. Поддерживаются CUDA, CPU и MPS на Mac.

Модель используется через Python API: загрузите её с помощью LuxTTS(...), закодируйте аудиофайл с образцом голоса через encode_prompt, а затем вызовите generate_speech, при необходимости указав параметры num_steps, speed и t_shift. В репозитории также есть ссылки на модель и Space на Hugging Face, ноутбук Colab и сторонние интеграции, включая приложение Gradio, узлы ComfyUI и порт на ONNX.

Ключевые возможности

  • 01Клонирование голоса по короткой аудиозаписи-образцу (wav или mp3, примерно от 3 секунд).
  • 02Генерация речи с частотой дискретизации 48 кГц.
  • 03Скорость до 150 раз выше реального времени на одной GPU и выше реального времени на CPU.
  • 04Работа примерно при 1 ГБ VRAM.
  • 05Поддержка устройств с CUDA, CPU и Apple MPS.

Сценарии использования

  • Генерация озвучки или дикторского текста клонированным голосом на локальной GPU.
  • Запуск синтеза речи на ноутбуке с CPU или на Mac.
  • Создание TTS-бэкенда для приложений, которым нужна быстрая речь с высокой частотой дискретизации.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/ysharma3501/LuxTTS.git
  2. 2

    Перейдите в папку проекта

    cd LuxTTS
  3. 3

    Установите зависимости

    pip install -r requirements.txt
  4. 4

    Загрузите модель на GPU в Python и сгенерируйте речь (см. примеры инференса в README)

    from zipvoice.luxvoice import LuxTTS

Что важно знать

  • Для клонирования голоса нужен эталонный аудиофайл длительностью не менее 3 секунд.
  • Заявленная скорость в 150 раз выше реального времени относится к одной GPU; в README нет бенчмарков для CPU или Mac, кроме утверждения, что CPU работает быстрее реального времени.
  • Инференс в Float16 пока не выпущен, поэтому сейчас используется float32.

Темы

Частые вопросы

Что такое LuxTTS?
Лёгкая TTS-модель на базе ZipVoice для клонирования голоса и генерации речи с частотой 48 кГц, работающая на GPU быстрее реального времени более чем в 150 раз. LuxTTS — модель преобразования текста в речь на базе архитектуры ZipVoice, дистиллированная до 4 шагов сэмплирования. По короткой записи-образцу она клонирует голос говорящего и генерирует речь из текста. Частота дискретизации результата — 48 кГц; для этого используется собственный вокодер, тогда как стандартная конфигурация ZipVoice работает на 24 кГц.
LuxTTS можно использовать бесплатно? Какая у него лицензия?
LuxTTS распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
LuxTTS всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в LuxTTS — 5 июн. 2026 г..
Для чего можно использовать LuxTTS?
Генерация озвучки или дикторского текста клонированным голосом на локальной GPU. Запуск синтеза речи на ноутбуке с CPU или на Mac. Создание TTS-бэкенда для приложений, которым нужна быстрая речь с высокой частотой дискретизации.
Как установить LuxTTS?
Клонируйте репозиторий: git clone https://github.com/ysharma3501/LuxTTS.git Перейдите в папку проекта: cd LuxTTS Установите зависимости: pip install -r requirements.txt Загрузите модель на GPU в Python и сгенерируйте речь (см. примеры инференса в README): from zipvoice.luxvoice import LuxTTS
Где скачать LuxTTS?
Исходный код и инструкции по установке — на GitHub: https://github.com/ysharma3501/LuxTTS

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора.

15,4 тыс.2,3 тыс.PythonMITОбновлён 6 дней назад

Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.

33,3 тыс.2,9 тыс.PythonOtherОбновлён 6 дней назад