Repolode
提交项目
xiaomi-research

xiaomi-research/Xiaomi-OCR-0

面向文档解析、关键信息抽取和 OCR 视觉问答的统一 0.8B 视觉语言模型。

在 GitHub 查看官网
Star
979
Fork
60
未关闭 Issue
0
最近提交
10天前

这是什么？

Xiaomi-OCR-0 是基于 Qwen3.5-0.8B 训练的 0.8B 视觉语言模型，专注于 OCR 相关任务。它可以将文档页面图像解析为结构化 Markdown，表格转为 HTML，公式以 LaTeX 表示；也能按要求将字段抽取为 JSON，并回答文档图像中文字内容的问题。

仓库提供 Agent Skill 和 MCP 服务，负责提示词构造、PDF 与图片预处理、可选的版面区域检测、区域并行推理及结果拼装。同时附带本地浏览器 Demo，支持整页与区域解析、KIE、VQA 和 PDF 解析。推理可使用 SGLang 或 vLLM，也提供基于 Ollama 的实验性方案。

区域模式依赖 PaddleX 与 PP-DocLayoutV3，适合印刷体、版式规整的文档；对于场景文字、手写或不规则版面，建议使用整页解析。

核心功能

  • 01将文档页面解析为 Markdown，表格输出为 HTML，公式使用 LaTeX。
  • 02按指定字段将文档信息抽取为 JSON。
  • 03回答与文档图像文字相关的 OCR 视觉问答。
  • 04提供 MCP 服务和 Agent Skill，便于本地智能体集成。
  • 05内置浏览器 Demo，支持整页与区域解析、KIE、VQA 和 PDF 解析。
  • 06支持 SGLang 或 vLLM 推理，并提供实验性的 Ollama 支持。

适用场景

  • 将扫描件或电子版 PDF 转换为 Markdown，便于后续处理。
  • 以 JSON 形式抽取发票、表单等文档中的结构化字段。
  • 针对文档图像中的文字、图表或表格进行提问。
  • 搭建本地 OCR 服务，供 AI 智能体通过 MCP 调用。

快速上手

  1. 1

    克隆代码仓库

    git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git
  2. 2

    启动 vLLM 推理服务（保持运行）

    vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384
  3. 3

    在仓库目录中创建虚拟环境并安装依赖

    python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt
  4. 4

    启动浏览器演示，然后打开 http://127.0.0.1:8787

    python demo/server.py --port 8787

使用前须知

  • 需要兼容的 GPU，并需另行安装 SGLang 或 vLLM 运行时，这些运行时对硬件有特定要求。
  • 区域解析需要额外安装 PaddlePaddle 和 PaddleX 依赖。
  • Ollama 方式仍处于实验阶段，其准确性未与基准结果对齐验证。

收录于专题

MCP Server 精选PDF、OCR 与文档处理工具静态网站生成器与文档工具

标签

#ocr#document-parsing#vision-language-model#multimodal#mcp#vllm#markdown

常见问题

Xiaomi-OCR-0 是什么？
面向文档解析、关键信息抽取和 OCR 视觉问答的统一 0.8B 视觉语言模型。 Xiaomi-OCR-0 是基于 Qwen3.5-0.8B 训练的 0.8B 视觉语言模型，专注于 OCR 相关任务。它可以将文档页面图像解析为结构化 Markdown，表格转为 HTML，公式以 LaTeX 表示；也能按要求将字段抽取为 JSON，并回答文档图像中文字内容的问题。
Xiaomi-OCR-0 可以免费使用吗？用的什么许可证？
Xiaomi-OCR-0 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Xiaomi-OCR-0 还在维护吗？
活跃维护中。Xiaomi-OCR-0 最近一次提交是在 2026年10月29日。
Xiaomi-OCR-0 适合用来做什么？
将扫描件或电子版 PDF 转换为 Markdown，便于后续处理。 以 JSON 形式抽取发票、表单等文档中的结构化字段。 针对文档图像中的文字、图表或表格进行提问。 搭建本地 OCR 服务，供 AI 智能体通过 MCP 调用。
Xiaomi-OCR-0 怎么安装和运行？
克隆代码仓库: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git 启动 vLLM 推理服务（保持运行）: vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 在仓库目录中创建虚拟环境并安装依赖: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt 启动浏览器演示，然后打开 http://127.0.0.1:8787: python demo/server.py --port 8787
在哪里获取 Xiaomi-OCR-0？
源代码和安装说明在 GitHub 上：https://github.com/xiaomi-research/Xiaomi-OCR-0

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目