Repolode
Предложить
netease-youdao

netease-youdao/Confucius4-R2T2

Низколатентная потоковая модель распознавания китайской и английской речи на базе Qwen3-ASR-1.7B, которая фиксирует текст последовательно и не меняет уже выведенные слова.

Open source альтернатива:Google Cloud Speech-to-TextAssemblyAI

Открыть на GitHub
Звёзды
858
Форки
80
Открытые issues
6
Последний коммит
вчера

Что это?

Confucius4-R2T2 — потоковая модель автоматического распознавания речи от NetEase Youdao. Она обрабатывает аудио чанками размером от 80 мс до 2 с, который можно настроить, и выводит текст последовательно: уже зафиксированная часть расшифровки не меняется. Это удобно для субтитров в реальном времени, синхронного перевода и конвейеров, где последующий код должен реагировать на текст сразу после его появления.

Модель адаптирует Qwen3-ASR-1.7B с помощью обучения на основе Longest Stable Prefix примерно на 1 500 часах аудио на китайском и английском языках. При обучении обновляется только языковой декодер, а аудиоэнкодер и проектор остаются замороженными. Также добавлено явное действие Wait, которое позволяет модели понять, когда нужно получить больше аудио. Бюджет предварительных токенов позволяет менять качество распознавания в обмен на задержку вывода без повторного обучения.

Один и тот же чекпойнт поддерживает транскрибацию с полным контекстом в офлайн-режиме и потоковую обработку. Инференс можно запускать через vLLM, с помощью интеграции с Hugging Face transformers или, опционально, декодировать через llama.cpp. Поддерживаются подсказки по теме и словарю. В комплект также входят WebSocket-сервер и пример клиента на Python.

Ключевые возможности

  • 01Настраиваемый размер чанков для потоковой обработки — от 80 мс до 2 с.
  • 02Зафиксированный текст расшифровки не меняется, поэтому текст на экране меньше мерцает.
  • 03Бюджет предварительных токенов позволяет выбирать между качеством распознавания и задержкой вывода.
  • 04Офлайн-транскрибация с полным контекстом и потоковый инференс на одном чекпойнте.
  • 05Инференс через vLLM, Hugging Face transformers или llama.cpp.
  • 06Подсказки с контекстом и ключевыми словами для уточнения темы и словаря.
  • 07WebSocket-сервер для потоковой обработки с примером клиента на Python.

Сценарии использования

  • Субтитры в реальном времени для совещаний, трансляций и лекций.
  • Синхронный перевод речи, где нестабильный текст может привести к ошибкам.
  • Передача расшифровок в реальном времени LLM-агентам или NLP-конвейерам.
  • Голосовой ввод на китайском и английском языках в приложениях, чувствительных к задержке.

Быстрый старт

  1. 1

    Клонируйте репозиторий (см. раздел Installation в README).

  2. 2

    Запустите рекомендуемый Docker-контейнер и выполните пример, как описано в разделе Docker файла README.

Что важно знать

  • Метаданные лицензии репозитория неясны, хотя значок в README ведёт на Apache 2.0 для кода.
  • Указанная задержка выдачи не учитывает время обслуживания и сети, поэтому в реальных условиях задержка может быть выше.

В подборках

ИИ-инструменты для видео и аудиоИнструменты для стриминга

Темы

#speech-recognition#asr#streaming#real-time-transcription#speech-to-text#chinese#vllm#llm

Частые вопросы

Что такое Confucius4-R2T2?
Низколатентная потоковая модель распознавания китайской и английской речи на базе Qwen3-ASR-1.7B, которая фиксирует текст последовательно и не меняет уже выведенные слова. Confucius4-R2T2 — потоковая модель автоматического распознавания речи от NetEase Youdao. Она обрабатывает аудио чанками размером от 80 мс до 2 с, который можно настроить, и выводит текст последовательно: уже зафиксированная часть расшифровки не меняется. Это удобно для субтитров в реальном времени, синхронного перевода и конвейеров, где последующий код должен реагировать на текст сразу после его появления.
Confucius4-R2T2 можно использовать бесплатно? Какая у него лицензия?
Confucius4-R2T2 распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Confucius4-R2T2 всё ещё поддерживается?
Активно поддерживается. Последний коммит в Confucius4-R2T2 — 6 нояб. 2026 г..
Для чего можно использовать Confucius4-R2T2?
Субтитры в реальном времени для совещаний, трансляций и лекций. Синхронный перевод речи, где нестабильный текст может привести к ошибкам. Передача расшифровок в реальном времени LLM-агентам или NLP-конвейерам. Голосовой ввод на китайском и английском языках в приложениях, чувствительных к задержке.
Как установить Confucius4-R2T2?
Клонируйте репозиторий (см. раздел Installation в README). Запустите рекомендуемый Docker-контейнер и выполните пример, как описано в разделе Docker файла README.
Где скачать Confucius4-R2T2?
Исходный код и инструкции по установке — на GitHub: https://github.com/netease-youdao/Confucius4-R2T2

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

modelscope / FunASR

Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.

ИИ и машинное обучение#speech-recognition#asr#speech-to-text
21 тыс.+65 за неделю2,1 тыс.PythonMITОбновлён вчера

modelscope / FunClip

Локальный open-source инструмент для нарезки видео по расшифровке речи с помощью FunASR: выбирайте фрагменты по тексту или спикеру, а при желании используйте LLM.

Продуктивность и приложения#speech-recognition#video-editing#subtitles
6,5 тыс.+29 за неделю774PythonMITАктивно поддерживаетсяОбновлён 6 дней назад

microsoft / VibeVoice

Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.

ИИ и машинное обучение#speech-recognition#text-to-speech#asr
56,4 тыс.+1,4 тыс. за неделю6,4 тыс.PythonMITОбновлён в прошлом месяце