Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다.
NVIDIA-NeMo/Speech
NVIDIA의 오픈소스 툴킷으로, 음성 인식(ASR), 음성 합성(TTS), 음성 LLM 모델을 구축하고 미세 조정해 배포할 수 있습니다.
- 스타
- 18,607
- 포크
- 3,654
- 열린 이슈
- 368
- 마지막 커밋
- 7시간 전
어떤 프로젝트인가요?
NeMo Speech는 음성 모델을 연구하고 개발하는 사람들을 위한 NVIDIA의 PyTorch 기반 프레임워크입니다. 자동 음성 인식, 음성 합성, 음성 LLM을 지원하며, 기존 코드와 사전 학습 체크포인트를 재사용해 모델을 만들고, 맞춤화하고, 배포할 수 있도록 설계되었습니다.
이 프로젝트는 스트리밍 및 오프라인 ASR 모델, 다국어 TTS 모델, 풀 듀플렉스 음성 채팅 모델 등의 사전 학습 모델을 제공하며, 모델은 Hugging Face에 공개되어 있습니다. NeMo 툴킷에서 분리된 프로젝트로, 현재는 오디오, 음성 및 멀티모달 LLM에 집중합니다.
소스에서 uv를 사용하거나 사전 빌드된 NGC 컨테이너를 Docker로 실행하거나, 기존 PyTorch 환경에 pip로 설치할 수 있습니다. Python 3.12 이상, PyTorch 2.7 이상이 필요하며, 학습에는 CUDA를 지원하는 NVIDIA GPU가 필요합니다.
핵심 기능
- 01스트리밍 및 오프라인 모드를 지원하는 자동 음성 인식 모델
- 02다국어를 지원하는 음성 합성 모델
- 03음성 LLM 및 풀 듀플렉스 음성 대화 모델
- 04Hugging Face에 공개된 사전 학습 체크포인트
- 05기존 PyTorch 환경에서 uv, Docker 또는 pip를 통한 설치
활용 사례
- 특정 언어나 도메인에 맞는 음성 인식 시스템 구축 또는 미세 조정
- NVIDIA GPU에서 지연 시간이 짧은 스트리밍 음성 인식 배포
- 애플리케이션용 다국어 음성 합성 음성 생성
- 음성 LLM 및 대화형 음성 에이전트 연구
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/NVIDIA-NeMo/Speech.git - 2
프로젝트 디렉터리로 이동합니다
cd Speech - 3
uv로 지원되는 스택을 설치합니다(CUDA 13.x)
uv sync --extra all --extra cu13 - 4
또는 기존 PyTorch 환경에 pip로 설치합니다
uv pip install 'nemo-toolkit[asr,tts]'
사용 전 알아둘 점
- 학습에는 CUDA를 지원하는 NVIDIA GPU가 필요합니다.
- Python 3.12 이상 및 PyTorch 2.7 이상이 필요합니다.
토픽
자주 묻는 질문
- Speech은(는) 무엇인가요?
- NVIDIA의 오픈소스 툴킷으로, 음성 인식(ASR), 음성 합성(TTS), 음성 LLM 모델을 구축하고 미세 조정해 배포할 수 있습니다. NeMo Speech는 음성 모델을 연구하고 개발하는 사람들을 위한 NVIDIA의 PyTorch 기반 프레임워크입니다. 자동 음성 인식, 음성 합성, 음성 LLM을 지원하며, 기존 코드와 사전 학습 체크포인트를 재사용해 모델을 만들고, 맞춤화하고, 배포할 수 있도록 설계되었습니다.
- Speech은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Speech은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Speech은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Speech의 마지막 커밋은 2026년 10월 20일입니다.
- Speech은(는) 어디에 사용할 수 있나요?
- 특정 언어나 도메인에 맞는 음성 인식 시스템 구축 또는 미세 조정 NVIDIA GPU에서 지연 시간이 짧은 스트리밍 음성 인식 배포 애플리케이션용 다국어 음성 합성 음성 생성 음성 LLM 및 대화형 음성 에이전트 연구
- Speech는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/NVIDIA-NeMo/Speech.git 프로젝트 디렉터리로 이동합니다: cd Speech uv로 지원되는 스택을 설치합니다(CUDA 13.x): uv sync --extra all --extra cu13 또는 기존 PyTorch 환경에 pip로 설치합니다: uv pip install 'nemo-toolkit[asr,tts]'
- Speech은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA-NeMo/Speech
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
오프라인 음성 인식·음성 합성·기계 번역으로 메모를 작성하고 읽고 번역할 수 있는 Linux 데스크톱 및 Sailfish OS 앱입니다.
참조 오디오 한 개로 음성을 복제하고 감정, 속도, 발음을 조절할 수 있는 제로샷 음성 합성 시스템입니다.
오프라인 및 스트리밍 ASR을 위한 오픈소스 음성 인식 툴킷으로, VAD, 문장 부호 복원, 화자 라벨링과 OpenAI 호환 서빙을 지원합니다.
실시간 음성 에이전트와 앱을 위한 오픈소스 온디바이스 음성 인식·의도 인식·음성 합성 툴킷입니다.
8,200만 개 파라미터를 갖춘 오픈 웨이트 음성 합성 모델 Kokoro-82M의 Python 추론 라이브러리입니다.