Repolode
Предложить
fishaudio

fishaudio/fish-speech

Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.

Open source альтернатива:ElevenLabs

Открыть на GitHubСайт
Звёзды
33,309
Форки
2,894
Открытые issues
21
Последний коммит
6 дней назад

Что это?

Fish Speech — открытый проект синтеза речи из текста от Fish Audio. Он преобразует текст в речь и умеет клонировать голос по короткому образцу: для модели S2-Pro достаточно примерно 10–30 секунд записи. Встроенные теги вроде [whisper], [angry] или [laughing] задают эмоции и просодию прямо в тексте, а идентификаторы дикторов позволяют включить в один текст несколько персонажей, не генерируя речь для каждого отдельно.

В проект входят модели двух поколений. Новая флагманская Drama 3 рассчитана на сцены с несколькими персонажами и длинные форматы; в ней появились доработка результата в несколько проходов и локальное редактирование отдельных слов в уже сгенерированном аудио. S2-Pro — модель предыдущего поколения: она достаточно компактна для потребительской GPU и поддерживает около ста языков. У обеих моделей общие CLI и API-сервер, а тип модели определяется по конфигурации чекпойнта.

В репозитории описаны установка, скачивание весов, развёртывание через Docker и запуск инференса через командную строку, API-сервер или WebUI. Веса моделей опубликованы на Hugging Face. Код и веса распространяются по лицензии Fish Audio Community License, а для весов S2-Pro действует отдельная лицензия на исследовательское использование.

Ключевые возможности

  • 01Клонирование голоса по короткому образцу записи
  • 02Встроенные теги на естественном языке задают эмоции и просодию
  • 03Генерация речи нескольких персонажей в рамках одного текста
  • 04Локальное редактирование отдельных слов в готовом аудио (Drama 3)
  • 05Потоковая генерация длинного текста
  • 06Инференс через командную строку, API-сервер и WebUI

Сценарии использования

  • Создание озвучки или аудиокниг с выразительной подачей
  • Генерация сцен по сценарию или диалогов с несколькими персонажами
  • Развёртывание собственного TTS-бэкенда с доступом через API
  • Эксперименты с клонированием голоса и исследованиями синтеза речи

Быстрый старт

  1. 1

    Ознакомьтесь с руководством по установке: настройка среды, загрузка весов модели и развертывание с помощью Docker

  2. 2

    Ознакомьтесь с руководством по инференсу: использование командной строки, API-сервера и WebUI

Что важно знать

  • Кодовая база и веса модели распространяются по лицензии Fish Audio Community License, которая не является стандартной лицензией с открытым исходным кодом.
  • Веса S2-Pro распространяются по лицензии Fish Audio Research License, которая может ограничивать коммерческое использование.
  • Для настройки потребуется документация из внешних источников и отдельная загрузка весов модели.

Темы

#text-to-speech#voice-cloning#speech-synthesis#transformer#llm#multilingual#audio#llama#tts#valle

Частые вопросы

Что такое fish-speech?
Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM. Fish Speech — открытый проект синтеза речи из текста от Fish Audio. Он преобразует текст в речь и умеет клонировать голос по короткому образцу: для модели S2-Pro достаточно примерно 10–30 секунд записи. Встроенные теги вроде [whisper], [angry] или [laughing] задают эмоции и просодию прямо в тексте, а идентификаторы дикторов позволяют включить в один текст несколько персонажей, не генерируя речь для каждого отдельно.
fish-speech можно использовать бесплатно? Какая у него лицензия?
fish-speech распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
fish-speech всё ещё поддерживается?
Активно поддерживается. Последний коммит в fish-speech — 14 окт. 2026 г..
Для чего можно использовать fish-speech?
Создание озвучки или аудиокниг с выразительной подачей Генерация сцен по сценарию или диалогов с несколькими персонажами Развёртывание собственного TTS-бэкенда с доступом через API Эксперименты с клонированием голоса и исследованиями синтеза речи
Как установить fish-speech?
Ознакомьтесь с руководством по установке: настройка среды, загрузка весов модели и развертывание с помощью Docker Ознакомьтесь с руководством по инференсу: использование командной строки, API-сервера и WebUI
Где скачать fish-speech?
Исходный код и инструкции по установке — на GitHub: https://github.com/fishaudio/fish-speech

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты