Repolode
投稿する
netease-youdao

netease-youdao/Confucius4-R2T2

Qwen3-ASR-1.7Bをベースにした中国語・英語対応の低遅延ストリーミング音声認識モデル。過去の単語を修正せず、テキストを単調に確定します。

代替できる製品:Google Cloud Speech-to-TextAssemblyAI

GitHub で見る
スター
858
フォーク
80
未解決の Issue
6
最終コミット
昨日

これは何？

Confucius4-R2T2は、NetEase Youdaoが提供するストリーミング自動音声認識モデルです。80 msから2 sまで設定可能なチャンク単位で音声を処理し、確定した書き起こしテキストを変更しない単調出力モードで動作します。そのため、ライブ字幕や同時字幕、テキストが出力され次第、後続のコードで処理するパイプラインに適しています。

このモデルは、中国語と英語の約1,500時間分の音声を使い、Longest Stable Prefix learningによってQwen3-ASR-1.7Bを適応させています。学習では言語デコーダーのみを更新し、音声エンコーダーとプロジェクターは凍結したままにします。また、モデルが追加の音声を必要とするタイミングを判断できるよう、明示的なWaitアクションを追加しています。暫定トークン数の上限により、再学習せずに認識品質と出力遅延のバランスを調整できます。

同じチェックポイントで、全コンテキストを使ったオフライン文字起こしとストリーミングの両方に対応します。推論はvLLM、Hugging Face transformers経由、またはオプションのllama.cppデコードで実行できます。トピックや語彙のヒントも利用でき、WebSocketサーバーとPythonのリファレンスクライアントが付属します。

主な機能

  • 01ストリーミングのチャンクサイズを80 msから2 sまで設定可能。
  • 02確定した書き起こしテキストを変更せず、画面上のちらつきを軽減。
  • 03暫定トークン数の上限により、認識品質と出力遅延のバランスを調整。
  • 041つのチェックポイントで、全コンテキストを使ったオフライン推論とストリーミング推論に対応。
  • 05vLLM、Hugging Face transformers、またはllama.cpp経由で推論可能。
  • 06トピックや語彙に関するコンテキスト・ホットワードのヒントに対応。
  • 07Pythonのリファレンスクライアントが付属するWebSocketストリーミングサーバー。

ユースケース

  • 会議、配信、講義のライブ字幕。
  • 不安定なテキストが誤りにつながる同時音声翻訳。
  • リアルタイムの書き起こしをLLMエージェントやNLPパイプラインに入力。
  • 低遅延が求められるアプリケーションでの中国語・英語の音声入力。

クイックスタート

  1. 1

    リポジトリをクローンします（README の Installation セクションを参照）

  2. 2

    README の Docker セクションの説明に従って、推奨されている Docker コンテナを起動し、サンプルを実行します

使う前に知っておきたいこと

  • リポジトリのライセンスメタデータは不明確ですが、README のバッジからコードの Apache 2.0 ライセンスにリンクされています。
  • 報告されている出力の遅延には、サービングとネットワークにかかる時間が含まれていないため、実環境でのレイテンシはさらに高くなる可能性があります。

収録されている特集

AI 動画・音声ツールストリーミングツール

トピック

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

よくある質問

Confucius4-R2T2 とは？
Qwen3-ASR-1.7Bをベースにした中国語・英語対応の低遅延ストリーミング音声認識モデル。過去の単語を修正せず、テキストを単調に確定します。 Confucius4-R2T2は、NetEase Youdaoが提供するストリーミング自動音声認識モデルです。80 msから2 sまで設定可能なチャンク単位で音声を処理し、確定した書き起こしテキストを変更しない単調出力モードで動作します。そのため、ライブ字幕や同時字幕、テキストが出力され次第、後続のコードで処理するパイプラインに適しています。
Confucius4-R2T2 は無料で使えますか？ライセンスは？
Confucius4-R2T2 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Confucius4-R2T2 は今もメンテナンスされていますか？
活発にメンテナンス中。Confucius4-R2T2 の最終コミットは 2026年11月6日 です。
Confucius4-R2T2 は何に使えますか？
会議、配信、講義のライブ字幕。 不安定なテキストが誤りにつながる同時音声翻訳。 リアルタイムの書き起こしをLLMエージェントやNLPパイプラインに入力。 低遅延が求められるアプリケーションでの中国語・英語の音声入力。
Confucius4-R2T2 のインストール方法は？
リポジトリをクローンします（README の Installation セクションを参照） README の Docker セクションの説明に従って、推奨されている Docker コンテナを起動し、サンプルを実行します
Confucius4-R2T2 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/netease-youdao/Confucius4-R2T2

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト