Примеры вызова речевых моделей Alibaba Cloud Bailian для распознавания и синтеза речи, а также голосового общения.
PedroMarinhoDev/ComfyUI-Drama3
Ноды ComfyUI для синтеза речи Fish Audio Drama 3 с клонированием голоса, диалогами нескольких персонажей и подсказками в тексте, а также встроенной транскрибацией через Qwen3-ASR.
- Звёзды
- 165
- Форки
- 21
- Открытые issues
- 6
- Последний коммит
- 14 дней назад
Что это?
ComfyUI-Drama3 добавляет модель синтеза речи Fish Audio Drama 3 в ComfyUI в виде набора нод. Она позволяет клонировать голос по короткому аудиофрагменту и его расшифровке, сохранять его для повторного использования, генерировать диалоги с участием до 16 персонажей и добавлять в текст подсказки вроде [laughs], [whispers] или [sighs]. Длинный текст разбивается на фрагменты, которые генерируются последовательно.
Модель — это сеть mixture-of-experts на 35B параметров. Большая часть весов относится к маршрутизируемым экспертам и хранится в системной RAM, а в VRAM-кэше находятся эксперты, используемые в данный момент. По словам проекта, благодаря этому модель может работать на видеокартах с 8 ГБ VRAM. В набор также входит встроенная нода Qwen3-ASR для транскрибации аудио; она может автоматически расшифровать аудиофрагмент, используемый для клонирования голоса. Веса модели загружаются отдельно с Hugging Face и распространяются по лицензии Fish Audio Community License, а код — по GPL-3.0.
Ключевые возможности
- 01Клонирует голос по короткому аудиофрагменту и его расшифровке и сохраняет его в небольшом файле для повторного использования.
- 02Генерирует диалоги с участием до 16 персонажей, у каждого из которых свой голос.
- 03Поддерживает подсказки в тексте, например [laughs], [whispers] и [sighs], а также теги для настройки темпа и акцентов в отдельных фрагментах.
- 04Хранит веса экспертов в системной RAM и использует VRAM-кэш, чтобы запускать модель на видеокартах с 8 ГБ VRAM.
- 05Включает встроенное распознавание речи Qwen3-ASR с поддержкой 30 языков.
- 06Нода Editor создаёт субтитры с разбивкой по словам и отдельные дорожки для каждого голоса.
Сценарии использования
- Создание озвучки или дикторского текста по сценарию в workflow ComfyUI.
- Подготовка диалогов нескольких персонажей для аудиоспектаклей или анимации.
- Автоматическая транскрибация аудиофрагментов перед клонированием голоса.
- Запуск локального конвейера синтеза речи на потребительской видеокарте.
Быстрый старт
- 1
Установите ноды с помощью ComfyUI-Manager или Comfy Registry
comfy node install drama3 - 2
Клонируйте репозиторий в custom_nodes и перезапустите ComfyUI
cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 - 3
Скачайте веса модели с Hugging Face
hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models - 4
Откройте пример workflow для клонирования голоса и поставьте его в очередь в ComfyUI
Что важно знать
- Требуется видеокарта NVIDIA как минимум с 8 ГБ VRAM и около 32–48 ГБ системной RAM.
- Файлы модели очень большие: стандартный файл FP8 занимает около 38,6 ГБ.
- На код распространяется лицензия GPL-3.0, а для весов модели действует отдельная лицензия Fish Audio Community License.
В подборках
Темы
Частые вопросы
- Что такое ComfyUI-Drama3?
- Ноды ComfyUI для синтеза речи Fish Audio Drama 3 с клонированием голоса, диалогами нескольких персонажей и подсказками в тексте, а также встроенной транскрибацией через Qwen3-ASR. ComfyUI-Drama3 добавляет модель синтеза речи Fish Audio Drama 3 в ComfyUI в виде набора нод. Она позволяет клонировать голос по короткому аудиофрагменту и его расшифровке, сохранять его для повторного использования, генерировать диалоги с участием до 16 персонажей и добавлять в текст подсказки вроде [laughs], [whispers] или [sighs]. Длинный текст разбивается на фрагменты, которые генерируются последовательно.
- ComfyUI-Drama3 можно использовать бесплатно? Какая у него лицензия?
- ComfyUI-Drama3 распространяется с открытым исходным кодом под лицензией GPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- ComfyUI-Drama3 всё ещё поддерживается?
- Активно поддерживается. Последний коммит в ComfyUI-Drama3 — 25 окт. 2026 г..
- Для чего можно использовать ComfyUI-Drama3?
- Создание озвучки или дикторского текста по сценарию в workflow ComfyUI. Подготовка диалогов нескольких персонажей для аудиоспектаклей или анимации. Автоматическая транскрибация аудиофрагментов перед клонированием голоса. Запуск локального конвейера синтеза речи на потребительской видеокарте.
- Как установить ComfyUI-Drama3?
- Установите ноды с помощью ComfyUI-Manager или Comfy Registry: comfy node install drama3 Клонируйте репозиторий в custom_nodes и перезапустите ComfyUI: cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 Скачайте веса модели с Hugging Face: hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models Откройте пример workflow для клонирования голоса и поставьте его в очередь в ComfyUI
- Где скачать ComfyUI-Drama3?
- Исходный код и инструкции по установке — на GitHub: https://github.com/PedroMarinhoDev/ComfyUI-Drama3
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Нативный кастомный узел ComfyUI, который добавляет модели генерации речи Ming-3.0-tts (0.5B и Tiny 9B) в рабочие процессы ComfyUI.
Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.
Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI.
Библиотека Python для моделей преобразования текста в речь, речи в текст и речи в речь, работающих нативно на Apple Silicon через MLX.
VoxCPM2 — open-source модель преобразования текста в речь без токенизатора: поддерживает 30 языков, создание голоса по текстовому описанию и клонирование по короткому аудиофрагменту.