Alibaba Cloud Bailian 음성 모델을 호출해 음성 인식, 음성 합성, 음성 대화를 구현하는 샘플 코드입니다.
PedroMarinhoDev/ComfyUI-Drama3
음성 복제, 다중 화자 대화, 인라인 큐를 지원하는 Fish Audio Drama 3 TTS용 ComfyUI 노드와 네이티브 Qwen3-ASR 전사 기능을 제공합니다.
- 스타
- 165
- 포크
- 21
- 열린 이슈
- 6
- 마지막 커밋
- 13일 전
어떤 프로젝트인가요?
ComfyUI-Drama3는 Fish Audio의 Drama 3 텍스트 음성 변환 모델을 노드 형태로 ComfyUI에 제공합니다. 짧은 음성 클립과 해당 대본을 사용해 목소리를 복제하고, 나중에 재사용하도록 저장하며, 최대 16명의 화자가 등장하는 대화를 생성하고, 텍스트에 [laughs], [whispers], [sighs] 같은 큐를 삽입할 수 있습니다. 긴 텍스트는 여러 청크로 나눈 뒤 순서대로 생성합니다.
이 모델은 35B 규모의 mixture-of-experts 네트워크입니다. 대부분의 가중치는 시스템 RAM에 보관되는 라우팅 전문가 가중치이며, VRAM 캐시에는 현재 사용 중인 전문가를 저장합니다. 프로젝트에 따르면 이 구조 덕분에 VRAM 8 GB GPU에서도 실행할 수 있습니다. 이 팩에는 오디오를 전사하는 네이티브 Qwen3-ASR 노드도 포함되어 있어 음성 클립의 대본을 자동으로 채울 수 있습니다. 모델 가중치는 Hugging Face에서 별도로 다운로드해야 하며 Fish Audio Community License에 따라 제공됩니다. 코드는 GPL-3.0 라이선스입니다.
핵심 기능
- 01짧은 음성 클립과 대본을 사용해 목소리를 복제하고, 재사용할 수 있는 작은 파일로 저장합니다.
- 02각각 고유한 목소리를 가진 최대 16명의 화자가 등장하는 대화를 생성합니다.
- 03[laughs], [whispers], [sighs] 같은 인라인 큐와 속도 및 강조를 조절하는 범위 지정 태그를 지원합니다.
- 04VRAM 캐시를 사용해 전문가 가중치는 시스템 RAM에 보관하므로 VRAM 8 GB 이상의 그래픽 카드에서 실행할 수 있습니다.
- 0530개 언어의 음성 인식을 지원하는 네이티브 Qwen3-ASR을 포함합니다.
- 06에디터 노드에서 단어 단위 자막과 음성별 트랙을 제공합니다.
활용 사례
- ComfyUI 워크플로 안에서 대본을 음성 해설이나 내레이션으로 제작하기.
- 오디오 드라마나 애니메이션에 사용할 다중 캐릭터 대화를 프로토타이핑하기.
- 음성 클립을 자동으로 전사해 복제용으로 준비하기.
- 일반 사용자용 GPU에서 로컬 텍스트 음성 변환 파이프라인 실행하기.
빠른 시작
- 1
ComfyUI-Manager 또는 Comfy Registry로 노드를 설치합니다
comfy node install drama3 - 2
저장소를 custom_nodes에 clone한 다음 ComfyUI를 다시 시작합니다
cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 - 3
Hugging Face에서 모델 가중치를 다운로드합니다
hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models - 4
음성 클로닝 예제 워크플로를 열고 ComfyUI에서 대기열에 추가합니다
사용 전 알아둘 점
- VRAM이 최소 8GB이고 시스템 RAM이 약 32~48GB인 NVIDIA GPU가 필요합니다.
- 모델 파일은 매우 크며, 기본 FP8 파일의 크기는 약 38.6GB입니다.
- 코드에는 GPL-3.0이 적용되지만 모델 가중치에는 별도의 Fish Audio Community License가 적용됩니다.
포함된 컬렉션
토픽
자주 묻는 질문
- ComfyUI-Drama3은(는) 무엇인가요?
- 음성 복제, 다중 화자 대화, 인라인 큐를 지원하는 Fish Audio Drama 3 TTS용 ComfyUI 노드와 네이티브 Qwen3-ASR 전사 기능을 제공합니다. ComfyUI-Drama3는 Fish Audio의 Drama 3 텍스트 음성 변환 모델을 노드 형태로 ComfyUI에 제공합니다. 짧은 음성 클립과 해당 대본을 사용해 목소리를 복제하고, 나중에 재사용하도록 저장하며, 최대 16명의 화자가 등장하는 대화를 생성하고, 텍스트에 [laughs], [whispers], [sighs] 같은 큐를 삽입할 수 있습니다. 긴 텍스트는 여러 청크로 나눈 뒤 순서대로 생성합니다.
- ComfyUI-Drama3은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- ComfyUI-Drama3은(는) GPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- ComfyUI-Drama3은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. ComfyUI-Drama3의 마지막 커밋은 2026년 10월 25일입니다.
- ComfyUI-Drama3은(는) 어디에 사용할 수 있나요?
- ComfyUI 워크플로 안에서 대본을 음성 해설이나 내레이션으로 제작하기. 오디오 드라마나 애니메이션에 사용할 다중 캐릭터 대화를 프로토타이핑하기. 음성 클립을 자동으로 전사해 복제용으로 준비하기. 일반 사용자용 GPU에서 로컬 텍스트 음성 변환 파이프라인 실행하기.
- ComfyUI-Drama3는 어떻게 설치하나요?
- ComfyUI-Manager 또는 Comfy Registry로 노드를 설치합니다: comfy node install drama3 저장소를 custom_nodes에 clone한 다음 ComfyUI를 다시 시작합니다: cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 Hugging Face에서 모델 가중치를 다운로드합니다: hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models 음성 클로닝 예제 워크플로를 열고 ComfyUI에서 대기열에 추가합니다
- ComfyUI-Drama3은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/PedroMarinhoDev/ComfyUI-Drama3
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Ming-3.0-tts 음성 생성 모델(0.5B 및 Tiny 9B)을 ComfyUI 워크플로에서 사용할 수 있게 해 주는 네이티브 ComfyUI 커스텀 노드입니다.
Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다.
ggml 기반 C++ 음성 툴킷으로, Metal·Vulkan·CPU에서 텍스트 음성 변환, 음성 인식, 음성 활동 감지를 지원하며 OpenAI 호환 서버를 제공합니다.
Apple Silicon에서 MLX 프레임워크로 네이티브 실행되는 텍스트 음성 변환, 음성 텍스트 변환 및 음성 간 변환 모델용 Python 라이브러리입니다.
VoxCPM2는 30개 언어를 지원하고, 텍스트 설명으로 음성을 설계하거나 짧은 참조 음성으로 음성을 복제할 수 있는 오픈소스 토크나이저 프리 TTS 모델입니다.