Repolode
Enviar
netease-youdao

netease-youdao/Confucius4-R2T2

Modelo de reconhecimento de fala em streaming e baixa latência para chinês e inglês, baseado no Qwen3-ASR-1.7B, que confirma o texto de forma monotônica, sem revisar palavras anteriores.

Alternativa open source a:Google Cloud Speech-to-TextAssemblyAI

Ver no GitHub
Estrelas
858
Forks
80
Issues abertas
6
Último commit
ontem

O que é?

Confucius4-R2T2 é um modelo de reconhecimento automático de fala em streaming da NetEase Youdao. Ele processa o áudio em blocos configuráveis de 80 ms a 2 s e opera em modo de saída monotônica, ou seja, o texto confirmado da transcrição nunca é revisado. Isso é ideal para legendas ao vivo, legendagem simultânea e pipelines em que o código downstream age assim que o texto aparece.

O modelo adapta o Qwen3-ASR-1.7B usando aprendizado de Longest Stable Prefix em cerca de 1.500 horas de áudio em chinês e inglês. Durante o treinamento, apenas o decoder de linguagem é atualizado; o encoder de áudio e o projector permanecem congelados. Também é adicionada uma ação explícita de Wait para que o modelo saiba quando precisa de mais áudio. Um limite de tokens provisórios permite equilibrar a qualidade do reconhecimento e o atraso na emissão sem retreinar o modelo.

O mesmo checkpoint permite transcrição offline com contexto completo e inferência em streaming. A inferência pode ser executada com vLLM, por meio de uma integração com Hugging Face transformers ou, opcionalmente, com decodificação via llama.cpp. O modelo aceita dicas de tópicos e vocabulário, e inclui um servidor WebSocket com um cliente Python de referência.

Recursos principais

  • 01Tamanho dos blocos de streaming configurável de 80 ms a 2 s.
  • 02O texto confirmado da transcrição nunca é revisado, reduzindo as oscilações na tela.
  • 03O limite de tokens provisórios permite equilibrar a qualidade do reconhecimento e o atraso na emissão.
  • 04Inferência offline com contexto completo e em streaming usando um único checkpoint.
  • 05Inferência via vLLM, Hugging Face transformers ou llama.cpp.
  • 06Dicas de contexto e palavras-chave para tópicos e vocabulário.
  • 07Servidor de streaming WebSocket com um cliente Python de referência.

Casos de uso

  • Legendas ao vivo para reuniões, transmissões ou aulas.
  • Tradução simultânea de fala, em que texto instável causaria erros.
  • Envio de transcrições em tempo real para agentes LLM ou pipelines de NLP.
  • Entrada de voz em chinês e inglês para aplicações sensíveis à latência.

Início rápido

  1. 1

    Clone o repositório (consulte a seção Installation do README).

  2. 2

    Inicie o contêiner Docker recomendado e execute o exemplo, conforme descrito na seção Docker do README.

Antes de usar

  • Os metadados de licença do repositório não são claros, embora o selo do README aponte para a licença Apache 2.0 do código.
  • O atraso de emissão informado não inclui o tempo de serviço nem o de rede, portanto a latência no mundo real pode ser maior.

Em coleções

Ferramentas de vídeo e áudio com IAFerramentas de streaming

Tópicos

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

Perguntas frequentes

O que é Confucius4-R2T2?
Modelo de reconhecimento de fala em streaming e baixa latência para chinês e inglês, baseado no Qwen3-ASR-1.7B, que confirma o texto de forma monotônica, sem revisar palavras anteriores. Confucius4-R2T2 é um modelo de reconhecimento automático de fala em streaming da NetEase Youdao. Ele processa o áudio em blocos configuráveis de 80 ms a 2 s e opera em modo de saída monotônica, ou seja, o texto confirmado da transcrição nunca é revisado. Isso é ideal para legendas ao vivo, legendagem simultânea e pipelines em que o código downstream age assim que o texto aparece.
Confucius4-R2T2 é gratuito? Qual é a licença?
Confucius4-R2T2 é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
Confucius4-R2T2 ainda é mantido?
Manutenção ativa. O último commit de Confucius4-R2T2 foi em 6 de nov. de 2026.
Para que posso usar Confucius4-R2T2?
Legendas ao vivo para reuniões, transmissões ou aulas. Tradução simultânea de fala, em que texto instável causaria erros. Envio de transcrições em tempo real para agentes LLM ou pipelines de NLP. Entrada de voz em chinês e inglês para aplicações sensíveis à latência.
Como instalar Confucius4-R2T2?
Clone o repositório (consulte a seção Installation do README). Inicie o contêiner Docker recomendado e execute o exemplo, conforme descrito na seção Docker do README.
Onde consigo Confucius4-R2T2?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/netease-youdao/Confucius4-R2T2

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados