Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.
resemble-ai/chatterbox
Семейство открытых моделей синтеза речи Resemble AI с клонированием голоса по короткому аудиообразцу на английском и многих других языках.
Open source альтернатива:ElevenLabs
- Звёзды
- 27,100
- Форки
- 3,649
- Открытые issues
- 375
- Последний коммит
- 3 месяца назад
Что это?
Chatterbox — семейство открытых моделей синтеза речи от Resemble AI. Модели генерируют речь по тексту и могут клонировать голос по аудиообразцу, переданному при генерации. В семейство входят Chatterbox-Turbo — англоязычная модель на 350 млн параметров для голосовых агентов с низкой задержкой; Chatterbox-Nano — модель на 110 млн параметров, рассчитанная на запуск на CPU и непосредственно на устройстве; и Chatterbox Multilingual V3 — модель на 500 млн параметров, поддерживающая более 23 языков. Также доступен Single Language Pack — набор специализированных дообученных моделей для отдельных языков и региональных диалектов.
Turbo и Nano поддерживают паралингвистические теги, такие как [laugh], [cough] и [chuckle], во входном тексте, чтобы добавлять невербальные звуки. Мультиязычная модель принимает идентификатор языка с каждым запросом, а исходная модель Chatterbox предоставляет параметры CFG и exaggeration для настройки подачи. Установить пакет Python можно через pip; в проект также входят примеры скриптов для TTS и преобразования голоса. Каждый созданный аудиофайл содержит незаметную нейронную водяную метку PerTh, а в комплект входит скрипт для её извлечения.
Ключевые возможности
- 01Клонирование голоса по короткому аудиообразцу
- 02Модели Turbo и Nano с паралингвистическими тегами, например [laugh] и [cough]
- 03Мультиязычная модель с поддержкой более 23 языков и выбором по идентификатору языка
- 04Модель Nano работает на CPU и подходит для запуска непосредственно на устройстве
- 05Встроенная водяная метка PerTh в создаваемом аудио
- 06Установка через pip и примеры для Python
Сценарии использования
- Создание англоязычных голосовых агентов с низкой задержкой для телефонных звонков и поддержки клиентов
- Генерация закадрового текста и творческой озвучки с выразительными невербальными звуками
- Локализация голосового контента на разных языках с сохранением идентичности голоса
- Синтез речи на CPU или периферийных устройствах с ограниченным объёмом памяти
Быстрый старт
- 1
Установите пакет из PyPI
pip install chatterbox-tts - 2
Загрузите модель и сгенерируйте речь по текстовому запросу с помощью референсного аудиофрагмента (см. примеры использования в README)
Что важно знать
- Согласно README, проект разрабатывался и тестировался только на Python 3.11 в Debian 11.
- Turbo и Nano поддерживают только английский язык; для работы с другими языками требуются отдельные многоязычные модели.
Темы
Частые вопросы
- Что такое chatterbox?
- Семейство открытых моделей синтеза речи Resemble AI с клонированием голоса по короткому аудиообразцу на английском и многих других языках. Chatterbox — семейство открытых моделей синтеза речи от Resemble AI. Модели генерируют речь по тексту и могут клонировать голос по аудиообразцу, переданному при генерации. В семейство входят Chatterbox-Turbo — англоязычная модель на 350 млн параметров для голосовых агентов с низкой задержкой; Chatterbox-Nano — модель на 110 млн параметров, рассчитанная на запуск на CPU и непосредственно на устройстве; и Chatterbox Multilingual V3 — модель на 500 млн параметров, поддерживающая более 23 языков. Также доступен Single Language Pack — набор специализированных дообученных моделей для отдельных языков и региональных диалектов.
- chatterbox можно использовать бесплатно? Какая у него лицензия?
- chatterbox распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- chatterbox всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в chatterbox — 21 июл. 2026 г..
- Для чего можно использовать chatterbox?
- Создание англоязычных голосовых агентов с низкой задержкой для телефонных звонков и поддержки клиентов Генерация закадрового текста и творческой озвучки с выразительными невербальными звуками Локализация голосового контента на разных языках с сохранением идентичности голоса Синтез речи на CPU или периферийных устройствах с ограниченным объёмом памяти
- Как установить chatterbox?
- Установите пакет из PyPI: pip install chatterbox-tts Загрузите модель и сгенерируйте речь по текстовому запросу с помощью референсного аудиофрагмента (см. примеры использования в README)
- Где скачать chatterbox?
- Исходный код и инструкции по установке — на GitHub: https://github.com/resemble-ai/chatterbox
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Библиотека с открытым исходным кодом для синтеза речи: модель KittenTTS 2 клонирует голос по 5 секундам аудио и работает на CPU в реальном времени.
Открытая мультиязычная zero-shot модель преобразования текста в речь для более чем 600 языков с клонированием и настройкой голоса.
Библиотека инференса на Python для Kokoro-82M — текстовой модели синтеза речи с открытыми весами и 82 миллионами параметров.
Лёгкая TTS-модель на базе ZipVoice для клонирования голоса и генерации речи с частотой 48 кГц, работающая на GPU быстрее реального времени более чем в 150 раз.
Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора.