Repolode
投稿する
xiaomi-research

xiaomi-research/Xiaomi-OCR-0

文書解析、重要情報抽出、OCR中心の視覚的な質問応答に対応する、統合型の0.8B視覚言語モデル。

GitHub で見る公式サイト
スター
979
フォーク
60
未解決の Issue
0
最終コミット
10 日前

これは何？

Xiaomi-OCR-0は、Qwen3.5-0.8Bをベースに、OCR中心のコーパスで学習した0.8Bの視覚言語モデルです。文書ページの画像を構造化されたMarkdownに変換し、表はHTML、数式はLaTeXで出力します。また、指定された項目をJSONとして抽出したり、文書画像内のテキストに関する質問に回答したりできます。

このリポジトリには、プロンプト処理、PDFや画像の準備、オプションのレイアウト領域検出、並列クロップ推論、出力の組み立てを担うMCPサービス付きのAgent Skillが含まれています。ローカルのブラウザデモでは、ページ全体の解析、領域解析、KIE、VQA、PDF解析を試せます。推論はSGLangまたはvLLMで実行でき、コミュニティ提供のBF16 GGUFパッケージを使う実験的なOllama経路もあります。

領域モードではPaddleXとPP-DocLayoutV3を使用し、印刷された規則的な文書に適しています。シーン内のテキスト、手書き文字、不規則なレイアウトには、ページ全体の解析が推奨されています。

主な機能

  • 01文書ページをMarkdownに解析し、表はHTML、数式はLaTeXで出力します。
  • 02指定された文書内の項目をJSONとして抽出します。
  • 03文書画像について、OCRを中心とした質問に回答します。
  • 04ローカルエージェントとの連携に使えるMCPサービスとAgent Skillを提供します。
  • 05ページ全体、領域、KIE、VQA、PDFの解析に対応したローカルブラウザデモを利用できます。
  • 06SGLangまたはvLLMで実行でき、実験的にOllamaもサポートします。

ユースケース

  • スキャンPDFやデジタルPDFを、後続処理向けにMarkdownへ変換する。
  • 請求書やフォームのデータなど、構造化された項目をJSONとして抽出する。
  • 文書画像内のテキスト、チャート、表について質問する。
  • AIエージェントがMCP経由で呼び出せるローカルOCRサービスを実行する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git
  2. 2

    vLLM inference serverを起動する（起動したままにする）

    vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384
  3. 3

    リポジトリのディレクトリで仮想環境を作成し、requirementsをインストールする

    python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt
  4. 4

    ブラウザデモを起動し、http://127.0.0.1:8787 を開く

    python demo/server.py --port 8787

使う前に知っておきたいこと

  • 互換性のあるGPUと、別途インストールしたSGLangまたはvLLM runtimeが必要です。ハードウェア固有の要件があります。
  • 領域の解析には、追加のPaddlePaddleおよびPaddleX依存関係が必要です。
  • Ollamaの利用方法は実験段階であり、ベンチマークに対する精度は検証されていません。

収録されている特集

MCP サーバーPDF・OCR・ドキュメント処理ツール静的サイトジェネレーターとドキュメントツール

トピック

#ocr#document-parsing#vision-language-model#multimodal#mcp#vllm#markdown

よくある質問

Xiaomi-OCR-0 とは？
文書解析、重要情報抽出、OCR中心の視覚的な質問応答に対応する、統合型の0.8B視覚言語モデル。 Xiaomi-OCR-0は、Qwen3.5-0.8Bをベースに、OCR中心のコーパスで学習した0.8Bの視覚言語モデルです。文書ページの画像を構造化されたMarkdownに変換し、表はHTML、数式はLaTeXで出力します。また、指定された項目をJSONとして抽出したり、文書画像内のテキストに関する質問に回答したりできます。
Xiaomi-OCR-0 は無料で使えますか？ライセンスは？
Xiaomi-OCR-0 は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Xiaomi-OCR-0 は今もメンテナンスされていますか？
活発にメンテナンス中。Xiaomi-OCR-0 の最終コミットは 2026年10月29日 です。
Xiaomi-OCR-0 は何に使えますか？
スキャンPDFやデジタルPDFを、後続処理向けにMarkdownへ変換する。 請求書やフォームのデータなど、構造化された項目をJSONとして抽出する。 文書画像内のテキスト、チャート、表について質問する。 AIエージェントがMCP経由で呼び出せるローカルOCRサービスを実行する。
Xiaomi-OCR-0 のインストール方法は？
リポジトリをクローンする: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git vLLM inference serverを起動する（起動したままにする）: vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 リポジトリのディレクトリで仮想環境を作成し、requirementsをインストールする: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt ブラウザデモを起動し、http://127.0.0.1:8787 を開く: python demo/server.py --port 8787
Xiaomi-OCR-0 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/xiaomi-research/Xiaomi-OCR-0

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト