Repolode
xiaomi-research

xiaomi-research/Xiaomi-OCR-0

문서 파싱, 핵심 정보 추출, OCR 중심 시각 질의응답을 위한 통합 0.8B 비전-언어 모델입니다.

스타
936
포크
57
열린 이슈
0
마지막 커밋
8일 전

어떤 프로젝트인가요?

Xiaomi-OCR-0은 Qwen3.5-0.8B를 기반으로 OCR 중심 코퍼스에서 학습한 0.8B 비전-언어 모델입니다. 문서 페이지 이미지를 구조화된 Markdown으로 변환하며, 표는 HTML로, 수식은 LaTeX로 변환합니다. 요청한 항목을 JSON으로 추출하고 문서 이미지 속 텍스트에 관한 질문에도 답합니다.

저장소에는 프롬프트 처리, PDF 및 이미지 준비, 선택적 레이아웃 영역 감지, 병렬 크롭 추론, 결과 조립을 수행하는 MCP 서비스가 포함된 Agent Skill이 제공됩니다. 로컬 브라우저 데모에서는 전체 페이지 및 영역 파싱, KIE, VQA, PDF 파싱을 지원합니다. 추론은 SGLang 또는 vLLM에서 실행되며, 커뮤니티 BF16 GGUF 패키지를 사용하는 실험적인 Ollama 경로도 있습니다.

영역 모드는 PaddleX와 PP-DocLayoutV3를 사용하며, 인쇄된 정형 문서에 적합합니다. 장면 텍스트, 손글씨 또는 비정형 레이아웃에는 전체 페이지 파싱을 권장합니다.

핵심 기능

  • 01문서 페이지를 Markdown으로 파싱하고, 표는 HTML로, 수식은 LaTeX로 변환합니다.
  • 02문서에서 요청한 항목을 JSON으로 추출합니다.
  • 03문서 이미지에 관한 OCR 중심 질문에 답합니다.
  • 04로컬 에이전트 연동을 위한 MCP 서비스와 Agent Skill을 제공합니다.
  • 05페이지, 영역, KIE, VQA, PDF 파싱을 지원하는 로컬 브라우저 데모를 제공합니다.
  • 06SGLang 또는 vLLM에서 실행되며, 실험적으로 Ollama도 지원합니다.

활용 사례

  • 스캔하거나 디지털 형식으로 된 PDF를 후속 처리용 Markdown으로 변환합니다.
  • 인보이스나 양식 데이터와 같은 구조화된 항목을 JSON으로 추출합니다.
  • 문서 이미지에 포함된 텍스트, 차트 또는 표에 관해 질문합니다.
  • AI 에이전트가 MCP를 통해 호출할 수 있는 로컬 OCR 서비스를 실행합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git
  2. 2

    vLLM inference server를 시작합니다(계속 실행 상태로 둡니다)

    vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384
  3. 3

    저장소 디렉터리에서 가상 환경을 만들고 requirements를 설치합니다

    python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt
  4. 4

    브라우저 데모를 시작한 다음 http://127.0.0.1:8787 을 엽니다

    python demo/server.py --port 8787

사용 전 알아둘 점

  • 호환되는 GPU와 별도로 설치한 SGLang 또는 vLLM runtime이 필요하며, 하드웨어별 요구 사항이 있습니다.
  • 영역 파싱에는 추가 PaddlePaddle 및 PaddleX 종속성이 필요합니다.
  • Ollama 경로는 실험 단계이며 벤치마크를 기준으로 정확도가 검증되지 않았습니다.

포함된 컬렉션

토픽

자주 묻는 질문

Xiaomi-OCR-0은(는) 무엇인가요?
문서 파싱, 핵심 정보 추출, OCR 중심 시각 질의응답을 위한 통합 0.8B 비전-언어 모델입니다. Xiaomi-OCR-0은 Qwen3.5-0.8B를 기반으로 OCR 중심 코퍼스에서 학습한 0.8B 비전-언어 모델입니다. 문서 페이지 이미지를 구조화된 Markdown으로 변환하며, 표는 HTML로, 수식은 LaTeX로 변환합니다. 요청한 항목을 JSON으로 추출하고 문서 이미지 속 텍스트에 관한 질문에도 답합니다.
Xiaomi-OCR-0은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Xiaomi-OCR-0은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Xiaomi-OCR-0은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Xiaomi-OCR-0의 마지막 커밋은 2026년 10월 29일입니다.
Xiaomi-OCR-0은(는) 어디에 사용할 수 있나요?
스캔하거나 디지털 형식으로 된 PDF를 후속 처리용 Markdown으로 변환합니다. 인보이스나 양식 데이터와 같은 구조화된 항목을 JSON으로 추출합니다. 문서 이미지에 포함된 텍스트, 차트 또는 표에 관해 질문합니다. AI 에이전트가 MCP를 통해 호출할 수 있는 로컬 OCR 서비스를 실행합니다.
Xiaomi-OCR-0는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git vLLM inference server를 시작합니다(계속 실행 상태로 둡니다): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 저장소 디렉터리에서 가상 환경을 만들고 requirements를 설치합니다: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt 브라우저 데모를 시작한 다음 http://127.0.0.1:8787 을 엽니다: python demo/server.py --port 8787
Xiaomi-OCR-0은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/xiaomi-research/Xiaomi-OCR-0

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트