Семейство открытых моделей синтеза речи Resemble AI с клонированием голоса по короткому аудиообразцу на английском и многих других языках.
ysharma3501/LuxTTS
Лёгкая TTS-модель на базе ZipVoice для клонирования голоса и генерации речи с частотой 48 кГц, работающая на GPU быстрее реального времени более чем в 150 раз.
Open source альтернатива:ElevenLabs
- Звёзды
- 5,487
- Форки
- 685
- Открытые issues
- 32
- Последний коммит
- 5 месяцев назад
Что это?
LuxTTS — модель преобразования текста в речь на базе архитектуры ZipVoice, дистиллированная до 4 шагов сэмплирования. По короткой записи-образцу она клонирует голос говорящего и генерирует речь из текста. Частота дискретизации результата — 48 кГц; для этого используется собственный вокодер, тогда как стандартная конфигурация ZipVoice работает на 24 кГц.
Проект ориентирован на высокую скорость и низкое потребление памяти. Заявлена скорость до 150 раз выше реального времени на одной GPU, работа быстрее реального времени на CPU и потребление около 1 ГБ VRAM. Поддерживаются CUDA, CPU и MPS на Mac.
Модель используется через Python API: загрузите её с помощью LuxTTS(...), закодируйте аудиофайл с образцом голоса через encode_prompt, а затем вызовите generate_speech, при необходимости указав параметры num_steps, speed и t_shift. В репозитории также есть ссылки на модель и Space на Hugging Face, ноутбук Colab и сторонние интеграции, включая приложение Gradio, узлы ComfyUI и порт на ONNX.
Ключевые возможности
- 01Клонирование голоса по короткой аудиозаписи-образцу (wav или mp3, примерно от 3 секунд).
- 02Генерация речи с частотой дискретизации 48 кГц.
- 03Скорость до 150 раз выше реального времени на одной GPU и выше реального времени на CPU.
- 04Работа примерно при 1 ГБ VRAM.
- 05Поддержка устройств с CUDA, CPU и Apple MPS.
Сценарии использования
- Генерация озвучки или дикторского текста клонированным голосом на локальной GPU.
- Запуск синтеза речи на ноутбуке с CPU или на Mac.
- Создание TTS-бэкенда для приложений, которым нужна быстрая речь с высокой частотой дискретизации.
Быстрый старт
- 1
Клонируйте репозиторий
git clone https://github.com/ysharma3501/LuxTTS.git - 2
Перейдите в папку проекта
cd LuxTTS - 3
Установите зависимости
pip install -r requirements.txt - 4
Загрузите модель на GPU в Python и сгенерируйте речь (см. примеры инференса в README)
from zipvoice.luxvoice import LuxTTS
Что важно знать
- Для клонирования голоса нужен эталонный аудиофайл длительностью не менее 3 секунд.
- Заявленная скорость в 150 раз выше реального времени относится к одной GPU; в README нет бенчмарков для CPU или Mac, кроме утверждения, что CPU работает быстрее реального времени.
- Инференс в Float16 пока не выпущен, поэтому сейчас используется float32.
Темы
Частые вопросы
- Что такое LuxTTS?
- Лёгкая TTS-модель на базе ZipVoice для клонирования голоса и генерации речи с частотой 48 кГц, работающая на GPU быстрее реального времени более чем в 150 раз. LuxTTS — модель преобразования текста в речь на базе архитектуры ZipVoice, дистиллированная до 4 шагов сэмплирования. По короткой записи-образцу она клонирует голос говорящего и генерирует речь из текста. Частота дискретизации результата — 48 кГц; для этого используется собственный вокодер, тогда как стандартная конфигурация ZipVoice работает на 24 кГц.
- LuxTTS можно использовать бесплатно? Какая у него лицензия?
- LuxTTS распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- LuxTTS всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в LuxTTS — 5 июн. 2026 г..
- Для чего можно использовать LuxTTS?
- Генерация озвучки или дикторского текста клонированным голосом на локальной GPU. Запуск синтеза речи на ноутбуке с CPU или на Mac. Создание TTS-бэкенда для приложений, которым нужна быстрая речь с высокой частотой дискретизации.
- Как установить LuxTTS?
- Клонируйте репозиторий: git clone https://github.com/ysharma3501/LuxTTS.git Перейдите в папку проекта: cd LuxTTS Установите зависимости: pip install -r requirements.txt Загрузите модель на GPU в Python и сгенерируйте речь (см. примеры инференса в README): from zipvoice.luxvoice import LuxTTS
- Где скачать LuxTTS?
- Исходный код и инструкции по установке — на GitHub: https://github.com/ysharma3501/LuxTTS
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора.
Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.
Библиотека с открытым исходным кодом для синтеза речи: модель KittenTTS 2 клонирует голос по 5 секундам аудио и работает на CPU в реальном времени.
Открытая мультиязычная zero-shot модель преобразования текста в речь для более чем 600 языков с клонированием и настройкой голоса.
Библиотека инференса на Python для Kokoro-82M — текстовой модели синтеза речи с открытыми весами и 82 миллионами параметров.