Código de ejemplo para llamar a los modelos de voz de Alibaba Cloud Bailian para reconocimiento y síntesis de voz, y chat por voz.
42958MITActualizado hace 5 días
PedroMarinhoDev/ComfyUI-Drama3
Nodos de ComfyUI para convertir texto a voz con Fish Audio Drama 3, clonar voces y generar diálogos con varios hablantes e indicaciones en línea, además de transcribir con Qwen3-ASR.
- Estrellas
- 165
- Forks
- 21
- Issues abiertos
- 6
- Último commit
- hace 13 días
¿Qué es?
ComfyUI-Drama3 integra el modelo de conversión de texto a voz Drama 3 de Fish Audio en ComfyUI mediante un conjunto de nodos. Permite clonar una voz a partir de un clip corto y su transcripción, guardar esa voz para reutilizarla, generar diálogos de hasta 16 hablantes e insertar indicaciones como [laughs], [whispers] o [sighs] en el texto. Los textos largos se dividen en fragmentos que se generan en secuencia.
El modelo es una red de mezcla de expertos de 35B. La mayoría de sus pesos corresponden a expertos enrutados que se mantienen en la RAM del sistema, mientras que una caché en VRAM almacena los expertos activos; según el proyecto, esto permite ejecutarlo en GPU con 8 GB. El paquete también incluye un nodo nativo de Qwen3-ASR para transcribir audio, que puede completar automáticamente la transcripción de un clip de voz. Los pesos del modelo se descargan por separado desde Hugging Face y tienen la licencia Fish Audio Community License; el código, por su parte, está bajo GPL-3.0.
Funciones clave
- 01Clona una voz a partir de un clip de audio corto y su transcripción, y la guarda en un archivo pequeño que se puede reutilizar.
- 02Genera diálogos de hasta 16 hablantes, cada uno con su propia voz.
- 03Admite indicaciones en línea como [laughs], [whispers] y [sighs], además de etiquetas de alcance limitado para controlar el ritmo y el énfasis.
- 04Mantiene los pesos de los expertos en la RAM del sistema y usa una caché en VRAM para ejecutarse en tarjetas con 8 GB.
- 05Incluye reconocimiento de voz nativo con Qwen3-ASR en 30 idiomas.
- 06El nodo Editor ofrece subtítulos a nivel de palabra y pistas independientes para cada voz.
Casos de uso
- Crear voces en off o narraciones a partir de un guion dentro de un flujo de trabajo de ComfyUI.
- Prototipar diálogos con varios personajes para dramas de audio o animaciones.
- Transcribir clips de voz automáticamente para prepararlos para la clonación.
- Ejecutar un flujo local de conversión de texto a voz en una GPU de consumo.
Inicio rápido
- 1
Instala los nodos con ComfyUI-Manager o Comfy Registry
comfy node install drama3 - 2
Clona el repositorio en custom_nodes y reinicia ComfyUI
cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 - 3
Descarga los pesos del modelo desde Hugging Face
hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models - 4
Abre el flujo de trabajo de ejemplo de clonación de voz y ponlo en cola en ComfyUI
Antes de usarlo
- Requiere una GPU NVIDIA con al menos 8 GB de VRAM y entre 32 y 48 GB de RAM del sistema, aproximadamente.
- Los archivos del modelo son muy grandes: el archivo FP8 predeterminado ocupa unos 38,6 GB.
- El código está bajo la licencia GPL-3.0, mientras que los pesos del modelo usan la licencia independiente Fish Audio Community License.
En colecciones
Temas
#text-to-speech#voice-cloning#comfyui#speech-recognition#audio#asr#speech-synthesis#comfyui-nodes#fish-audio
Preguntas frecuentes
- ¿Qué es ComfyUI-Drama3?
- Nodos de ComfyUI para convertir texto a voz con Fish Audio Drama 3, clonar voces y generar diálogos con varios hablantes e indicaciones en línea, además de transcribir con Qwen3-ASR. ComfyUI-Drama3 integra el modelo de conversión de texto a voz Drama 3 de Fish Audio en ComfyUI mediante un conjunto de nodos. Permite clonar una voz a partir de un clip corto y su transcripción, guardar esa voz para reutilizarla, generar diálogos de hasta 16 hablantes e insertar indicaciones como [laughs], [whispers] o [sighs] en el texto. Los textos largos se dividen en fragmentos que se generan en secuencia.
- ¿ComfyUI-Drama3 es gratuito? ¿Qué licencia tiene?
- ComfyUI-Drama3 es open source bajo la licencia GPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ComfyUI-Drama3 sigue mantenido?
- Mantenimiento activo. El último commit de ComfyUI-Drama3 fue el 25 oct 2026.
- ¿Para qué puedo usar ComfyUI-Drama3?
- Crear voces en off o narraciones a partir de un guion dentro de un flujo de trabajo de ComfyUI. Prototipar diálogos con varios personajes para dramas de audio o animaciones. Transcribir clips de voz automáticamente para prepararlos para la clonación. Ejecutar un flujo local de conversión de texto a voz en una GPU de consumo.
- ¿Cómo se instala ComfyUI-Drama3?
- Instala los nodos con ComfyUI-Manager o Comfy Registry: comfy node install drama3 Clona el repositorio en custom_nodes y reinicia ComfyUI: cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 Descarga los pesos del modelo desde Hugging Face: hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models Abre el flujo de trabajo de ejemplo de clonación de voz y ponlo en cola en ComfyUI
- ¿Dónde consigo ComfyUI-Drama3?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/PedroMarinhoDev/ComfyUI-Drama3
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Nodo personalizado nativo de ComfyUI que integra los modelos de generación de voz Ming-3.0-tts (0.5B y Tiny 9B) en los flujos de trabajo de ComfyUI.
28+3 esta semana2PythonMITActualizado hace 7 días
Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
56,4 mil+1,4 mil esta semana6,4 milPythonMITActualizado el mes pasado
Kit de herramientas de voz en C++ basado en ggml para síntesis de voz, reconocimiento y detección de actividad de voz, compatible con Metal, Vulkan o CPU y con un servidor compatible con OpenAI.
IA y Machine Learning#speech-synthesis#speech-recognition#text-to-speech#voice-activity-detection#ggml
368+90 esta semana23C++MITBien mantenidoActualizado hace 6 días
Biblioteca de Python para modelos de texto a voz, voz a texto y voz a voz que se ejecutan de forma nativa en Apple Silicon mediante el framework MLX.
8,2 mil+54 esta semana787PythonMITBien mantenidoActualizado anteayer
VoxCPM2 es un modelo de texto a voz de código abierto y sin tokenizador que admite 30 idiomas, diseño de voz a partir de descripciones de texto y clonación de voz a partir de clips de referencia cortos.
41,1 mil+271 esta semana4,7 milPythonApache-2.0Bien mantenidoActualizado anteayer