Открытая vision-language OCR-модель Baidu, которая за один проход преобразует длинные многостраничные документы и PDF в структурированный текст.
xiaomi-research/Xiaomi-OCR-0
Универсальная vision-language-модель на 0,8 млрд параметров для разбора документов, извлечения ключевой информации и OCR-вопросов по изображениям.
- Звёзды
- 979
- Форки
- 60
- Открытые issues
- 0
- Последний коммит
- 10 дней назад
Что это?
Xiaomi-OCR-0 — vision-language-модель на 0,8 млрд параметров, созданная на базе Qwen3.5-0.8B и обученная на корпусе с акцентом на OCR. Она преобразует изображения страниц документов в структурированный Markdown: таблицы — в HTML, формулы — в LaTeX. Модель также извлекает запрошенные поля в формате JSON и отвечает на вопросы о тексте на изображениях документов.
В репозитории есть Agent Skill с MCP-сервисом для обработки запросов, подготовки PDF и изображений, необязательного обнаружения областей документа, параллельного инференса по фрагментам и сборки результата. Локальная демоверсия в браузере поддерживает разбор целых страниц и отдельных областей, KIE, VQA и PDF. Инференс запускается на SGLang или vLLM; экспериментальный вариант на Ollama использует сторонний пакет BF16 GGUF.
Режим областей использует PaddleX с PP-DocLayoutV3 и подходит для печатных документов с обычной структурой. Для текста на изображениях реальных сцен, рукописей и документов с нестандартной структурой проект рекомендует разбор страницы целиком.
Ключевые возможности
- 01Преобразует страницы документов в Markdown, представляя таблицы в HTML, а формулы — в LaTeX.
- 02Извлекает из документов запрошенные поля в формате JSON.
- 03Отвечает на вопросы по изображениям документов с акцентом на OCR.
- 04Предоставляет MCP-сервис и Agent Skill для локальной интеграции с агентами.
- 05Предлагает локальную демоверсию в браузере для разбора страниц, областей, KIE, VQA и PDF.
- 06Работает на SGLang или vLLM; экспериментально поддерживается Ollama.
Сценарии использования
- Преобразование сканированных или цифровых PDF в Markdown для последующей обработки.
- Извлечение структурированных полей, например данных из счетов или форм, в формате JSON.
- Вопросы о тексте, диаграммах и таблицах на изображениях документов.
- Запуск локального OCR-сервиса, к которому AI-агент обращается через MCP.
Быстрый старт
- 1
Клонируйте репозиторий
git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git - 2
Запустите inference-сервер vLLM (оставьте его работающим)
vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 - 3
В каталоге репозитория создайте виртуальное окружение и установите зависимости
python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt - 4
Запустите браузерную демоверсию и откройте http://127.0.0.1:8787
python demo/server.py --port 8787
Что важно знать
- Требуются совместимый GPU и отдельно установленная среда выполнения SGLang или vLLM с аппаратно-зависимыми требованиями.
- Для разбора областей нужны дополнительные зависимости PaddlePaddle и PaddleX.
- Вариант с Ollama экспериментальный, и его точность не проверялась на бенчмарках.
В подборках
Темы
Частые вопросы
- Что такое Xiaomi-OCR-0?
- Универсальная vision-language-модель на 0,8 млрд параметров для разбора документов, извлечения ключевой информации и OCR-вопросов по изображениям. Xiaomi-OCR-0 — vision-language-модель на 0,8 млрд параметров, созданная на базе Qwen3.5-0.8B и обученная на корпусе с акцентом на OCR. Она преобразует изображения страниц документов в структурированный Markdown: таблицы — в HTML, формулы — в LaTeX. Модель также извлекает запрошенные поля в формате JSON и отвечает на вопросы о тексте на изображениях документов.
- Xiaomi-OCR-0 можно использовать бесплатно? Какая у него лицензия?
- Xiaomi-OCR-0 распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Xiaomi-OCR-0 всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Xiaomi-OCR-0 — 29 окт. 2026 г..
- Для чего можно использовать Xiaomi-OCR-0?
- Преобразование сканированных или цифровых PDF в Markdown для последующей обработки. Извлечение структурированных полей, например данных из счетов или форм, в формате JSON. Вопросы о тексте, диаграммах и таблицах на изображениях документов. Запуск локального OCR-сервиса, к которому AI-агент обращается через MCP.
- Как установить Xiaomi-OCR-0?
- Клонируйте репозиторий: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git Запустите inference-сервер vLLM (оставьте его работающим): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 В каталоге репозитория создайте виртуальное окружение и установите зависимости: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt Запустите браузерную демоверсию и откройте http://127.0.0.1:8787: python demo/server.py --port 8787
- Где скачать Xiaomi-OCR-0?
- Исходный код и инструкции по установке — на GitHub: https://github.com/xiaomi-research/Xiaomi-OCR-0
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Мультимодальная OCR-модель с 0,9 млрд параметров и SDK для извлечения текста, таблиц, формул и структуры из сложных документов.
Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.
Набор инструментов с открытым исходным кодом для OCR и обработки документов: преобразует PDF и изображения в структурированный Markdown или JSON для конвейеров LLM и RAG.
API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR.
MiniCPM-OCR — семейство моделей с открытым исходным кодом для разбора документов и дополнительная модель для оценки точности результатов OCR.