Exemplos de código que mostram como chamar os modelos de fala do Alibaba Cloud Bailian para reconhecimento e síntese de fala e conversas por voz.
42958MITAtualizado há 5 dias
PedroMarinhoDev/ComfyUI-Drama3
Nodes do ComfyUI para geração de fala com o Fish Audio Drama 3, clonagem de voz, diálogos com vários falantes e marcações inline, além de transcrição nativa com Qwen3-ASR.
- Estrelas
- 165
- Forks
- 21
- Issues abertas
- 6
- Último commit
- há 14 dias
O que é?
O ComfyUI-Drama3 leva o modelo de geração de fala Fish Audio Drama 3 para o ComfyUI como um conjunto de nodes. Ele permite clonar uma voz a partir de um trecho curto de áudio e sua transcrição, salvar essa voz para reutilizá-la depois, gerar diálogos com até 16 falantes e inserir marcações como [laughs], [whispers] ou [sighs] no texto. Textos longos são divididos em partes, que são geradas em sequência.
O modelo é uma rede mixture-of-experts de 35B. A maior parte dos pesos fica em experts roteados, mantidos na RAM do sistema, enquanto um cache na VRAM armazena os experts em uso; segundo o projeto, isso permite executá-lo em GPUs com 8 GB. O pacote também inclui um node nativo de Qwen3-ASR para transcrever áudio, que pode preencher automaticamente a transcrição de um trecho de voz. Os pesos do modelo são baixados separadamente do Hugging Face e estão licenciados sob a Fish Audio Community License, enquanto o código está sob a GPL-3.0.
Recursos principais
- 01Clona uma voz a partir de um trecho curto de áudio e sua transcrição e a salva em um arquivo pequeno, reutilizável.
- 02Gera diálogos com até 16 falantes, cada um com sua própria voz.
- 03Aceita marcações inline como [laughs], [whispers] e [sighs], além de tags com escopo para ritmo e ênfase.
- 04Mantém os pesos dos experts na RAM do sistema e usa um cache na VRAM para executar em placas com 8 GB.
- 05Inclui reconhecimento de fala nativo com Qwen3-ASR em 30 idiomas.
- 06O node de edição fornece legendas por palavra e faixas separadas por voz.
Casos de uso
- Produzir narrações ou locuções a partir de um roteiro em um workflow do ComfyUI.
- Criar protótipos de diálogos com vários personagens para dramas de áudio ou animações.
- Transcrever trechos de voz automaticamente para prepará-los para clonagem.
- Executar um pipeline local de geração de fala em uma GPU para consumidores.
Início rápido
- 1
Instale os nós com o ComfyUI-Manager ou o Comfy Registry
comfy node install drama3 - 2
Clone o repositório em custom_nodes e reinicie o ComfyUI
cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 - 3
Baixe os pesos do modelo no Hugging Face
hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models - 4
Abra o workflow de exemplo de clonagem de voz e coloque-o na fila do ComfyUI
Antes de usar
- Requer uma GPU NVIDIA com pelo menos 8 GB de VRAM e cerca de 32 a 48 GB de RAM do sistema.
- Os arquivos do modelo são muito grandes: o arquivo FP8 padrão tem cerca de 38,6 GB.
- O código usa a licença GPL-3.0, enquanto os pesos do modelo usam a licença separada Fish Audio Community License.
Em coleções
Tópicos
#text-to-speech#voice-cloning#comfyui#speech-recognition#audio#asr#speech-synthesis#comfyui-nodes#fish-audio
Perguntas frequentes
- O que é ComfyUI-Drama3?
- Nodes do ComfyUI para geração de fala com o Fish Audio Drama 3, clonagem de voz, diálogos com vários falantes e marcações inline, além de transcrição nativa com Qwen3-ASR. O ComfyUI-Drama3 leva o modelo de geração de fala Fish Audio Drama 3 para o ComfyUI como um conjunto de nodes. Ele permite clonar uma voz a partir de um trecho curto de áudio e sua transcrição, salvar essa voz para reutilizá-la depois, gerar diálogos com até 16 falantes e inserir marcações como [laughs], [whispers] ou [sighs] no texto. Textos longos são divididos em partes, que são geradas em sequência.
- ComfyUI-Drama3 é gratuito? Qual é a licença?
- ComfyUI-Drama3 é open source sob a licença GPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ComfyUI-Drama3 ainda é mantido?
- Manutenção ativa. O último commit de ComfyUI-Drama3 foi em 25 de out. de 2026.
- Para que posso usar ComfyUI-Drama3?
- Produzir narrações ou locuções a partir de um roteiro em um workflow do ComfyUI. Criar protótipos de diálogos com vários personagens para dramas de áudio ou animações. Transcrever trechos de voz automaticamente para prepará-los para clonagem. Executar um pipeline local de geração de fala em uma GPU para consumidores.
- Como instalar ComfyUI-Drama3?
- Instale os nós com o ComfyUI-Manager ou o Comfy Registry: comfy node install drama3 Clone o repositório em custom_nodes e reinicie o ComfyUI: cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 Baixe os pesos do modelo no Hugging Face: hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models Abra o workflow de exemplo de clonagem de voz e coloque-o na fila do ComfyUI
- Onde consigo ComfyUI-Drama3?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/PedroMarinhoDev/ComfyUI-Drama3
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um custom node nativo do ComfyUI que integra os modelos de geração de fala Ming-3.0-tts (0.5B e Tiny 9B) aos workflows do ComfyUI.
28+1 esta semana2PythonMITAtualizado há 8 dias
Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real.
56,7 mil+1,6 mil esta semana6,4 milPythonMITAtualizado mês passado
Kit de ferramentas de fala em C++ baseado em ggml para síntese de voz, reconhecimento de fala e detecção de atividade vocal, com suporte a Metal, Vulkan e CPU, além de um servidor compatível com OpenAI.
IA e Machine Learning#speech-synthesis#speech-recognition#text-to-speech#voice-activity-detection#ggml
371+93 esta semana23C++MITBem mantidoAtualizado há 6 dias
Biblioteca Python para modelos de conversão de texto em fala, fala em texto e fala em fala, executados nativamente em Apple Silicon com o framework MLX.
8,2 mil+46 esta semana787PythonMITBem mantidoAtualizado há 19 horas
O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos.
41,3 mil+364 esta semana4,7 milPythonApache-2.0Bem mantidoAtualizado anteontem