Repolode
提交项目
netease-youdao

netease-youdao/Confucius4-R2T2

基于 Qwen3-ASR-1.7B 的低延迟流式语音识别模型，支持中英文，输出只追加不改写。

可替代:Google Cloud Speech-to-TextAssemblyAI

在 GitHub 查看
Star
858
Fork
80
未关闭 Issue
6
最近提交
昨天

这是什么？

Confucius4-R2T2 是网易有道开源的流式语音识别模型，可按 80 毫秒到 2 秒的可配置分块处理音频。输出采用单调模式，已确认的文字不会再被修改，适合实时字幕、同声传译以及需要即时处理识别结果的下游流程。

模型基于 Qwen3-ASR-1.7B，使用约 1500 小时中英文音频进行最长稳定前缀（LSP）学习。训练只更新语言解码器，音频编码器和投影层保持冻结，并引入显式的 Wait 动作，让模型判断何时需要更多音频。通过调整临时 token 数量，无需重新训练即可在识别质量与输出延迟之间取舍。

同一权重既可做完整上下文的离线转写，也可用于流式识别。推理支持 vLLM、Hugging Face transformers 离线方式，以及可选的 llama.cpp 解码。模型支持主题与热词提示，项目还提供 WebSocket 服务和参考 Python 客户端。

核心功能

  • 01分块时长可在 80 毫秒到 2 秒之间配置。
  • 02已输出的文字不再修改，减少屏幕上的跳动。
  • 03临时 token 数量可调，在识别质量与输出延迟之间取舍。
  • 04同一权重支持离线完整上下文转写与流式识别。
  • 05支持 vLLM、Hugging Face transformers 和 llama.cpp 三种推理方式。
  • 06支持主题与热词提示，提升专有词汇识别。
  • 07提供 WebSocket 流式服务和参考 Python 客户端。

适用场景

  • 会议、直播或课堂的实时字幕。
  • 不能容忍文字回改的同声传译场景。
  • 将实时转写结果送入 LLM 智能体或 NLP 流程。
  • 对延迟敏感的中英文语音输入应用。

快速上手

  1. 1

    克隆代码仓库（参见 README 的安装部分）

  2. 2

    按照 README 的 Docker 部分启动推荐的容器并运行示例

使用前须知

  • 仓库的许可证元数据不明确，但 README 徽章指向代码的 Apache 2.0 许可证。
  • 报告的输出延迟不包括服务和网络时间，实际延迟可能更高。

收录于专题

AI 视频与音频工具流媒体与实时数据工具

标签

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

常见问题

Confucius4-R2T2 是什么？
基于 Qwen3-ASR-1.7B 的低延迟流式语音识别模型，支持中英文，输出只追加不改写。 Confucius4-R2T2 是网易有道开源的流式语音识别模型，可按 80 毫秒到 2 秒的可配置分块处理音频。输出采用单调模式，已确认的文字不会再被修改，适合实时字幕、同声传译以及需要即时处理识别结果的下游流程。
Confucius4-R2T2 可以免费使用吗？用的什么许可证？
Confucius4-R2T2 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
Confucius4-R2T2 还在维护吗？
活跃维护中。Confucius4-R2T2 最近一次提交是在 2026年11月6日。
Confucius4-R2T2 适合用来做什么？
会议、直播或课堂的实时字幕。 不能容忍文字回改的同声传译场景。 将实时转写结果送入 LLM 智能体或 NLP 流程。 对延迟敏感的中英文语音输入应用。
Confucius4-R2T2 怎么安装和运行？
克隆代码仓库（参见 README 的安装部分） 按照 README 的 Docker 部分启动推荐的容器并运行示例
在哪里获取 Confucius4-R2T2？
源代码和安装说明在 GitHub 上：https://github.com/netease-youdao/Confucius4-R2T2

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目