OpenBMB/VoxCPM

Что это?

Ключевые возможности

• 01Синтез речи на 30 языках, включая несколько китайских диалектов, без указания языкового тега.
• 02Создание голоса по текстовому описанию, например с указанием пола, возраста и тембра.
• 03Клонирование голоса по короткому референсному аудиофрагменту с возможностью управлять стилем и эмоциями.
• 04Генерация аудио с частотой 48 кГц на основе референсного аудио с частотой 16 кГц.
• 05Потоковая генерация через Python API, CLI и веб-демонстрацию.
• 06Поддержка полного дообучения и дообучения с LoRA.

Сценарии использования

• Создание многоязычной озвучки или дикторского текста по сценарию.
• Создание уникальных голосов персонажей для игр, видео или виртуальных помощников.
• Дубляж или локализация видео с клонированным голосом говорящего.
• Офлайн-синтез речи непосредственно на устройстве с помощью llama.cpp-omni.

Быстрый старт

1. 1

   Установите пакет с помощью pip

   pip install voxcpm
2. 2

   Загрузите модель и генерируйте речь из Python

3. 3

   Или запустите локальную веб-демонстрацию

   python app.py --port 8808

Что важно знать

• !Для описанной в README конфигурации требуются Python версии от 3.10 до 3.12, PyTorch 2.5 или новее и CUDA 12.0 или новее.
• !Для инференса в полном качестве ориентируйтесь на GPU; в README приведены коэффициенты реального времени, измеренные на NVIDIA RTX 4090.
• !Модель содержит 2 млрд параметров и требует загрузки большого объёма данных с Hugging Face или ModelScope.

Темы

Частые вопросы

Что такое VoxCPM?

VoxCPM2 — open-source модель преобразования текста в речь без токенизатора: поддерживает 30 языков, создание голоса по текстовому описанию и клонирование по короткому аудиофрагменту. VoxCPM2 — система преобразования текста в речь от OpenBMB. Вместо дискретных токенов она генерирует непрерывные представления речи с помощью диффузионной авторегрессионной архитектуры. Модель с 2 млрд параметров построена на базе MiniCPM-4 и генерирует аудио с частотой 48 кГц.

VoxCPM можно использовать бесплатно? Какая у него лицензия?

VoxCPM распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

VoxCPM всё ещё поддерживается?

Активно поддерживается. Последний коммит в VoxCPM — 8 окт. 2026 г..

Для чего можно использовать VoxCPM?

Создание многоязычной озвучки или дикторского текста по сценарию. Создание уникальных голосов персонажей для игр, видео или виртуальных помощников. Дубляж или локализация видео с клонированным голосом говорящего. Офлайн-синтез речи непосредственно на устройстве с помощью llama.cpp-omni.

Как установить VoxCPM?

Установите пакет с помощью pip: pip install voxcpm Загрузите модель и генерируйте речь из Python Или запустите локальную веб-демонстрацию: python app.py --port 8808

Где скачать VoxCPM?

Исходный код и инструкции по установке — на GitHub: https://github.com/OpenBMB/VoxCPM