Repolode
xiaomi-research

xiaomi-research/Xiaomi-OCR-0

Универсальная vision-language-модель на 0,8 млрд параметров для разбора документов, извлечения ключевой информации и OCR-вопросов по изображениям.

Звёзды
979
Форки
60
Открытые issues
0
Последний коммит
10 дней назад

Что это?

Xiaomi-OCR-0 — vision-language-модель на 0,8 млрд параметров, созданная на базе Qwen3.5-0.8B и обученная на корпусе с акцентом на OCR. Она преобразует изображения страниц документов в структурированный Markdown: таблицы — в HTML, формулы — в LaTeX. Модель также извлекает запрошенные поля в формате JSON и отвечает на вопросы о тексте на изображениях документов.

В репозитории есть Agent Skill с MCP-сервисом для обработки запросов, подготовки PDF и изображений, необязательного обнаружения областей документа, параллельного инференса по фрагментам и сборки результата. Локальная демоверсия в браузере поддерживает разбор целых страниц и отдельных областей, KIE, VQA и PDF. Инференс запускается на SGLang или vLLM; экспериментальный вариант на Ollama использует сторонний пакет BF16 GGUF.

Режим областей использует PaddleX с PP-DocLayoutV3 и подходит для печатных документов с обычной структурой. Для текста на изображениях реальных сцен, рукописей и документов с нестандартной структурой проект рекомендует разбор страницы целиком.

Ключевые возможности

  • 01Преобразует страницы документов в Markdown, представляя таблицы в HTML, а формулы — в LaTeX.
  • 02Извлекает из документов запрошенные поля в формате JSON.
  • 03Отвечает на вопросы по изображениям документов с акцентом на OCR.
  • 04Предоставляет MCP-сервис и Agent Skill для локальной интеграции с агентами.
  • 05Предлагает локальную демоверсию в браузере для разбора страниц, областей, KIE, VQA и PDF.
  • 06Работает на SGLang или vLLM; экспериментально поддерживается Ollama.

Сценарии использования

  • Преобразование сканированных или цифровых PDF в Markdown для последующей обработки.
  • Извлечение структурированных полей, например данных из счетов или форм, в формате JSON.
  • Вопросы о тексте, диаграммах и таблицах на изображениях документов.
  • Запуск локального OCR-сервиса, к которому AI-агент обращается через MCP.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git
  2. 2

    Запустите inference-сервер vLLM (оставьте его работающим)

    vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384
  3. 3

    В каталоге репозитория создайте виртуальное окружение и установите зависимости

    python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt
  4. 4

    Запустите браузерную демоверсию и откройте http://127.0.0.1:8787

    python demo/server.py --port 8787

Что важно знать

  • Требуются совместимый GPU и отдельно установленная среда выполнения SGLang или vLLM с аппаратно-зависимыми требованиями.
  • Для разбора областей нужны дополнительные зависимости PaddlePaddle и PaddleX.
  • Вариант с Ollama экспериментальный, и его точность не проверялась на бенчмарках.

В подборках

Темы

Частые вопросы

Что такое Xiaomi-OCR-0?
Универсальная vision-language-модель на 0,8 млрд параметров для разбора документов, извлечения ключевой информации и OCR-вопросов по изображениям. Xiaomi-OCR-0 — vision-language-модель на 0,8 млрд параметров, созданная на базе Qwen3.5-0.8B и обученная на корпусе с акцентом на OCR. Она преобразует изображения страниц документов в структурированный Markdown: таблицы — в HTML, формулы — в LaTeX. Модель также извлекает запрошенные поля в формате JSON и отвечает на вопросы о тексте на изображениях документов.
Xiaomi-OCR-0 можно использовать бесплатно? Какая у него лицензия?
Xiaomi-OCR-0 распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Xiaomi-OCR-0 всё ещё поддерживается?
Активно поддерживается. Последний коммит в Xiaomi-OCR-0 — 29 окт. 2026 г..
Для чего можно использовать Xiaomi-OCR-0?
Преобразование сканированных или цифровых PDF в Markdown для последующей обработки. Извлечение структурированных полей, например данных из счетов или форм, в формате JSON. Вопросы о тексте, диаграммах и таблицах на изображениях документов. Запуск локального OCR-сервиса, к которому AI-агент обращается через MCP.
Как установить Xiaomi-OCR-0?
Клонируйте репозиторий: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git Запустите inference-сервер vLLM (оставьте его работающим): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 В каталоге репозитория создайте виртуальное окружение и установите зависимости: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt Запустите браузерную демоверсию и откройте http://127.0.0.1:8787: python demo/server.py --port 8787
Где скачать Xiaomi-OCR-0?
Исходный код и инструкции по установке — на GitHub: https://github.com/xiaomi-research/Xiaomi-OCR-0

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.

3,1 тыс.517PythonApache-2.0Обновлён 2 месяца назад

Набор инструментов с открытым исходным кодом для OCR и обработки документов: преобразует PDF и изображения в структурированный Markdown или JSON для конвейеров LLM и RAG.

92,4 тыс.+363 за неделю11,6 тыс.PythonApache-2.0Обновлён 2 месяца назад

MiniCPM-OCR — семейство моделей с открытым исходным кодом для разбора документов и дополнительная модель для оценки точности результатов OCR.

846+129 за неделю62TypeScriptApache-2.0Активно поддерживаетсяОбновлён позавчера