OpenAI Whisper 음성 인식 모델을 C/C++로 포팅해 CPU와 GPU에서 빠르고 오프라인으로, 별도 의존성 없이 음성을 텍스트로 변환합니다.
k2-fsa/sherpa-onnx
다양한 플랫폼과 언어에서 음성 인식, 음성 합성, VAD, 화자 분리 등을 지원하는 onnxruntime 기반 오프라인 음성 툴킷입니다.
- 스타
- 15,398
- 포크
- 1,802
- 열린 이슈
- 647
- 마지막 커밋
- 7시간 전
어떤 프로젝트인가요?
sherpa-onnx는 인터넷에 연결하지 않고도 음성 모델을 로컬에서 실행할 수 있는 툴킷입니다. 스트리밍 및 비스트리밍 음성 인식, 음성 합성, 화자 분리, 화자 식별 및 검증, 음성 언어 식별, 오디오 태깅, 음성 활동 감지, 키워드 스포팅, 구두점 삽입, 음성 향상 및 소스 분리를 지원합니다. 모델은 onnxruntime을 통해 실행되며, 이 프로젝트는 차세대 Kaldi 생태계의 일부입니다.
같은 엔진으로 x86 및 ARM 서버, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V 보드와 Rockchip RKNN, Qualcomm QNN, Ascend, Axera 등의 여러 NPU를 비롯한 다양한 하드웨어를 지원합니다. WebAssembly, Flutter, Tauri용 빌드도 제공하며 WebSocket 서버와 클라이언트도 포함합니다.
C++, C, Python, Go, C#, Java, Kotlin, JavaScript, Swift, Rust, Dart, Pascal 바인딩을 제공하므로 개발자는 앱, 임베디드 기기 또는 백엔드 서비스에 오프라인 음성 기능을 통합할 수 있습니다.
핵심 기능
- 01스트리밍 및 비스트리밍 모드의 오프라인 음성 인식
- 02음성 합성, 화자 분리, VAD를 하나의 툴킷에서 지원
- 03onnxruntime을 사용해 x86, ARM, RISC-V 및 여러 NPU에서 실행
- 04네트워크 통신용 WebSocket 서버와 클라이언트 제공
- 0512개 프로그래밍 언어 바인딩과 WebAssembly 지원
활용 사례
- 모바일 또는 데스크톱 앱에 오프라인 음성 입력이나 자막 추가
- Raspberry Pi 또는 다른 임베디드 보드에서 음성 인식 실행
- WebSocket으로 제공하는 자체 호스팅 음성 서비스 구축
- 기기에 키워드 스포팅이나 웨이크 워드 기능 통합
빠른 시작
- 1
README에 나와 있는 Hugging Face Spaces를 사용해 브라우저에서 사용해 보세요
토픽
자주 묻는 질문
- sherpa-onnx은(는) 무엇인가요?
- 다양한 플랫폼과 언어에서 음성 인식, 음성 합성, VAD, 화자 분리 등을 지원하는 onnxruntime 기반 오프라인 음성 툴킷입니다. sherpa-onnx는 인터넷에 연결하지 않고도 음성 모델을 로컬에서 실행할 수 있는 툴킷입니다. 스트리밍 및 비스트리밍 음성 인식, 음성 합성, 화자 분리, 화자 식별 및 검증, 음성 언어 식별, 오디오 태깅, 음성 활동 감지, 키워드 스포팅, 구두점 삽입, 음성 향상 및 소스 분리를 지원합니다. 모델은 onnxruntime을 통해 실행되며, 이 프로젝트는 차세대 Kaldi 생태계의 일부입니다.
- sherpa-onnx은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- sherpa-onnx은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- sherpa-onnx은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. sherpa-onnx의 마지막 커밋은 2026년 10월 20일입니다.
- sherpa-onnx은(는) 어디에 사용할 수 있나요?
- 모바일 또는 데스크톱 앱에 오프라인 음성 입력이나 자막 추가 Raspberry Pi 또는 다른 임베디드 보드에서 음성 인식 실행 WebSocket으로 제공하는 자체 호스팅 음성 서비스 구축 기기에 키워드 스포팅이나 웨이크 워드 기능 통합
- sherpa-onnx는 어떻게 설치하나요?
- README에 나와 있는 Hugging Face Spaces를 사용해 브라우저에서 사용해 보세요
- sherpa-onnx은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/k2-fsa/sherpa-onnx
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
디지털 휴먼(2.5D, 3D, 모바일, PC, 웹)과 LLM(OpenAI 호환, DeepSeek)을 비즈니스 시스템에 연결하는 에이전트 프레임워크입니다.
실시간 음성 에이전트와 앱을 위한 오픈소스 온디바이스 음성 인식·의도 인식·음성 합성 툴킷입니다.
오프라인 음성 인식·음성 합성·기계 번역으로 메모를 작성하고 읽고 번역할 수 있는 Linux 데스크톱 및 Sailfish OS 앱입니다.
Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다.
Google AI Edge가 제공하는 Android 및 iOS 앱으로, 오픈소스 LLM과 온디바이스 GenAI를 인터넷 연결 없이 휴대폰에서 체험할 수 있습니다.