Repolode
제출하기
netease-youdao

netease-youdao/Confucius4-R2T2

Qwen3-ASR-1.7B 기반의 저지연 중국어·영어 스트리밍 음성 인식 모델로, 이전 단어를 수정하지 않고 텍스트를 순차적으로 확정합니다.

대체할 수 있는 제품:Google Cloud Speech-to-TextAssemblyAI

GitHub에서 보기
스타
858
포크
80
열린 이슈
6
마지막 커밋
어제

어떤 프로젝트인가요?

Confucius4-R2T2는 NetEase Youdao의 스트리밍 자동 음성 인식 모델입니다. 80ms에서 2초까지 청크 크기를 설정해 오디오를 처리하며, 출력이 단조롭게 진행되는 모드로 동작해 한 번 확정된 텍스트는 수정되지 않습니다. 따라서 실시간 자막, 동시 자막 생성, 텍스트가 나타나는 즉시 후속 코드가 처리하는 파이프라인에 적합합니다.

이 모델은 중국어와 영어 오디오 약 1,500시간을 대상으로 Longest Stable Prefix 학습을 적용해 Qwen3-ASR-1.7B를 조정했습니다. 학습 시 오디오 인코더와 프로젝터는 고정하고 언어 디코더만 업데이트하며, 오디오가 더 필요한 시점을 모델이 알 수 있도록 명시적인 Wait 동작을 추가합니다. 임시 토큰 예산을 조정하면 재학습 없이 인식 품질과 출력 지연 사이의 균형을 맞출 수 있습니다.

하나의 체크포인트로 오프라인 전체 컨텍스트 전사와 스트리밍을 모두 지원합니다. 추론은 vLLM, Hugging Face transformers 경로 또는 선택적으로 llama.cpp 디코딩을 통해 실행할 수 있습니다. 주제 및 어휘 힌트를 지원하며, WebSocket 서버와 참조용 Python 클라이언트도 포함되어 있습니다.

핵심 기능

  • 0180ms에서 2초까지 스트리밍 청크 크기를 설정할 수 있습니다.
  • 02확정된 전사 텍스트를 수정하지 않아 화면에 표시되는 문구가 깜박이는 현상을 줄입니다.
  • 03임시 토큰 예산을 조정해 인식 품질과 출력 지연 사이의 균형을 맞출 수 있습니다.
  • 04하나의 체크포인트로 오프라인 전체 컨텍스트 추론과 스트리밍 추론을 모두 지원합니다.
  • 05vLLM, Hugging Face transformers 또는 llama.cpp를 통해 추론할 수 있습니다.
  • 06주제와 어휘를 위한 컨텍스트 및 핫워드 힌트를 지원합니다.
  • 07참조용 Python 클라이언트를 포함한 WebSocket 스트리밍 서버를 제공합니다.

활용 사례

  • 회의, 스트리밍 방송, 강의의 실시간 자막 생성.
  • 불안정한 텍스트가 오류를 일으킬 수 있는 동시 음성 번역.
  • 실시간 전사 결과를 LLM 에이전트나 NLP 파이프라인에 전달.
  • 지연 시간에 민감한 애플리케이션에서 중국어와 영어 음성 입력.

빠른 시작

  1. 1

    저장소를 클론합니다(README의 Installation 섹션 참조).

  2. 2

    README의 Docker 섹션에 설명된 대로 권장 Docker 컨테이너를 시작하고 예제를 실행합니다.

사용 전 알아둘 점

  • 저장소의 라이선스 메타데이터는 명확하지 않지만, README의 배지는 코드의 Apache 2.0 라이선스로 연결됩니다.
  • 보고된 출력 지연에는 서빙 및 네트워크 시간이 포함되지 않으므로 실제 환경의 지연 시간은 더 높을 수 있습니다.

포함된 컬렉션

AI 영상·오디오 도구스트리밍 도구

토픽

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

자주 묻는 질문

Confucius4-R2T2은(는) 무엇인가요?
Qwen3-ASR-1.7B 기반의 저지연 중국어·영어 스트리밍 음성 인식 모델로, 이전 단어를 수정하지 않고 텍스트를 순차적으로 확정합니다. Confucius4-R2T2는 NetEase Youdao의 스트리밍 자동 음성 인식 모델입니다. 80ms에서 2초까지 청크 크기를 설정해 오디오를 처리하며, 출력이 단조롭게 진행되는 모드로 동작해 한 번 확정된 텍스트는 수정되지 않습니다. 따라서 실시간 자막, 동시 자막 생성, 텍스트가 나타나는 즉시 후속 코드가 처리하는 파이프라인에 적합합니다.
Confucius4-R2T2은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Confucius4-R2T2은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Confucius4-R2T2은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Confucius4-R2T2의 마지막 커밋은 2026년 11월 6일입니다.
Confucius4-R2T2은(는) 어디에 사용할 수 있나요?
회의, 스트리밍 방송, 강의의 실시간 자막 생성. 불안정한 텍스트가 오류를 일으킬 수 있는 동시 음성 번역. 실시간 전사 결과를 LLM 에이전트나 NLP 파이프라인에 전달. 지연 시간에 민감한 애플리케이션에서 중국어와 영어 음성 입력.
Confucius4-R2T2는 어떻게 설치하나요?
저장소를 클론합니다(README의 Installation 섹션 참조). README의 Docker 섹션에 설명된 대로 권장 Docker 컨테이너를 시작하고 예제를 실행합니다.
Confucius4-R2T2은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/netease-youdao/Confucius4-R2T2

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트