k2-fsa/OmniVoice

Что это?

Ключевые возможности

• 01Zero-shot клонирование голоса по короткому аудиофрагменту.
• 02Настройка голоса с указанием пола, возраста, высоты голоса, стиля, акцента или диалекта китайского языка.
• 03Вставка в текст тегов невербальных звуков, например [laughter] и [sigh].
• 04Ввод пиньиня и фонем CMU для коррекции произношения.
• 05Работа на оборудовании NVIDIA, Apple Silicon и GPU Intel Arc.
• 06Python API, веб-демо на Gradio и инструменты CLI, в том числе для пакетного инференса на нескольких GPU.

Сценарии использования

• Создание многоязычной озвучки или дикторского текста на разных языках.
• Клонирование голоса конкретного говорящего для персонализированной речи с его согласия.
• Пакетная генерация больших объёмов аудио на нескольких GPU.
• Прототипирование функций TTS в локальном демо на Gradio перед интеграцией API.

Быстрый старт

1. 1

   Установите PyTorch для вашего оборудования (пример для NVIDIA GPU)

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
2. 2

   Установите OmniVoice из PyPI

   pip install omnivoice
3. 3

   Запустите локальную веб-демонстрацию

   omnivoice-demo --ip 0.0.0.0 --port 8001

Что важно знать

• !Модель голосового дизайна обучалась только на данных на китайском и английском языках, поэтому на других языках она может работать нестабильно.
• !Для стабильной работы обычно требуется GPU (CUDA, Apple Silicon MPS или Intel Arc XPU), а предварительно обученную модель нужно скачать с Hugging Face.
• !Ускорение с помощью FlashInfer доступно только на GPU NVIDIA.

Темы

Частые вопросы

Что такое OmniVoice?

Открытая мультиязычная zero-shot модель преобразования текста в речь для более чем 600 языков с клонированием и настройкой голоса. OmniVoice — модель преобразования текста в речь, которая генерирует аудио более чем на 600 языках без обучения для каждого языка. Она построена на архитектуре в стиле диффузионной языковой модели и поддерживает zero-shot клонирование голоса по короткому аудиофрагменту, а также настройку голоса по описанию таких характеристик, как пол, возраст, высота голоса, акцент или диалект китайского языка.

OmniVoice можно использовать бесплатно? Какая у него лицензия?

OmniVoice распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

OmniVoice всё ещё поддерживается?

Активно поддерживается. Последний коммит в OmniVoice — 12 окт. 2026 г..

Для чего можно использовать OmniVoice?

Создание многоязычной озвучки или дикторского текста на разных языках. Клонирование голоса конкретного говорящего для персонализированной речи с его согласия. Пакетная генерация больших объёмов аудио на нескольких GPU. Прототипирование функций TTS в локальном демо на Gradio перед интеграцией API.

Как установить OmniVoice?

Установите PyTorch для вашего оборудования (пример для NVIDIA GPU): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Установите OmniVoice из PyPI: pip install omnivoice Запустите локальную веб-демонстрацию: omnivoice-demo --ip 0.0.0.0 --port 8001

Где скачать OmniVoice?

Исходный код и инструкции по установке — на GitHub: https://github.com/k2-fsa/OmniVoice