Repolode
Enviar
netease-youdao

netease-youdao/Confucius4-R2T2

Modelo de reconocimiento de voz en streaming y baja latencia para chino e inglés, basado en Qwen3-ASR-1.7B, que incorpora texto de forma monotónica sin revisar palabras anteriores.

Alternativa open source a:Google Cloud Speech-to-TextAssemblyAI

Ver en GitHub
Estrellas
858
Forks
80
Issues abiertos
6
Último commit
ayer

¿Qué es?

Confucius4-R2T2 es un modelo de reconocimiento automático del habla en streaming de NetEase Youdao. Procesa el audio en fragmentos configurables de 80 ms a 2 s y funciona en modo de salida monotónica, por lo que nunca revisa el texto de la transcripción que ya se ha confirmado. Esto lo hace adecuado para subtítulos en directo, subtitulado simultáneo y flujos de trabajo en los que el código posterior actúa sobre el texto en cuanto aparece.

El modelo adapta Qwen3-ASR-1.7B mediante aprendizaje de prefijo estable más largo con unas 1.500 horas de audio en chino e inglés. Durante el entrenamiento solo se actualiza el decodificador de lenguaje; el codificador de audio y el proyector permanecen congelados. Además, se añade una acción explícita de espera para que el modelo sepa cuándo necesita más audio. Un límite de tokens provisionales permite ajustar el equilibrio entre la calidad del reconocimiento y el retraso de emisión sin volver a entrenar.

El mismo checkpoint permite transcribir con contexto completo sin conexión o en streaming. La inferencia se ejecuta con vLLM, mediante una ruta de Hugging Face transformers o con decodificación opcional de llama.cpp. Se admiten pistas sobre temas y vocabulario, y se incluye un servidor WebSocket con un cliente de referencia en Python.

Funciones clave

  • 01Tamaño de los fragmentos de streaming configurable entre 80 ms y 2 s.
  • 02El texto confirmado de la transcripción nunca se revisa, lo que reduce el parpadeo en pantalla.
  • 03El límite de tokens provisionales permite equilibrar la calidad del reconocimiento y el retraso de emisión.
  • 04Inferencia sin conexión con contexto completo y en streaming desde un mismo checkpoint.
  • 05Inferencia con vLLM, Hugging Face transformers o llama.cpp.
  • 06Pistas contextuales y palabras clave para temas y vocabulario.
  • 07Servidor de streaming WebSocket con un cliente de referencia en Python.

Casos de uso

  • Subtítulos en directo para reuniones, transmisiones o clases.
  • Traducción simultánea del habla, donde el texto inestable puede provocar errores.
  • Envío de transcripciones en tiempo real a agentes LLM o flujos de trabajo de NLP.
  • Entrada de voz en chino e inglés para aplicaciones sensibles a la latencia.

Inicio rápido

  1. 1

    Clona el repositorio (consulta la sección Installation del README).

  2. 2

    Inicia el contenedor de Docker recomendado y ejecuta el ejemplo, tal como se describe en la sección Docker del README.

Antes de usarlo

  • Los metadatos de licencia del repositorio no están claros, aunque la insignia del README enlaza con Apache 2.0 para el código.
  • El retraso de emisión indicado no incluye el tiempo de servicio ni el de red, por lo que la latencia en condiciones reales podría ser mayor.

En colecciones

Herramientas de vídeo y audio con IAHerramientas de streaming

Temas

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

Preguntas frecuentes

¿Qué es Confucius4-R2T2?
Modelo de reconocimiento de voz en streaming y baja latencia para chino e inglés, basado en Qwen3-ASR-1.7B, que incorpora texto de forma monotónica sin revisar palabras anteriores. Confucius4-R2T2 es un modelo de reconocimiento automático del habla en streaming de NetEase Youdao. Procesa el audio en fragmentos configurables de 80 ms a 2 s y funciona en modo de salida monotónica, por lo que nunca revisa el texto de la transcripción que ya se ha confirmado. Esto lo hace adecuado para subtítulos en directo, subtitulado simultáneo y flujos de trabajo en los que el código posterior actúa sobre el texto en cuanto aparece.
¿Confucius4-R2T2 es gratuito? ¿Qué licencia tiene?
Confucius4-R2T2 es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Confucius4-R2T2 sigue mantenido?
Mantenimiento activo. El último commit de Confucius4-R2T2 fue el 6 nov 2026.
¿Para qué puedo usar Confucius4-R2T2?
Subtítulos en directo para reuniones, transmisiones o clases. Traducción simultánea del habla, donde el texto inestable puede provocar errores. Envío de transcripciones en tiempo real a agentes LLM o flujos de trabajo de NLP. Entrada de voz en chino e inglés para aplicaciones sensibles a la latencia.
¿Cómo se instala Confucius4-R2T2?
Clona el repositorio (consulta la sección Installation del README). Inicia el contenedor de Docker recomendado y ejecuta el ejemplo, tal como se describe en la sección Docker del README.
¿Dónde consigo Confucius4-R2T2?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/netease-youdao/Confucius4-R2T2

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados