Baidu의 오픈소스 비전-언어 OCR 모델로, 긴 다중 페이지 문서와 PDF를 한 번의 추론으로 구조화된 텍스트로 변환합니다.
xiaomi-research/Xiaomi-OCR-0
문서 파싱, 핵심 정보 추출, OCR 중심 시각 질의응답을 위한 통합 0.8B 비전-언어 모델입니다.
- 스타
- 936
- 포크
- 57
- 열린 이슈
- 0
- 마지막 커밋
- 8일 전
어떤 프로젝트인가요?
Xiaomi-OCR-0은 Qwen3.5-0.8B를 기반으로 OCR 중심 코퍼스에서 학습한 0.8B 비전-언어 모델입니다. 문서 페이지 이미지를 구조화된 Markdown으로 변환하며, 표는 HTML로, 수식은 LaTeX로 변환합니다. 요청한 항목을 JSON으로 추출하고 문서 이미지 속 텍스트에 관한 질문에도 답합니다.
저장소에는 프롬프트 처리, PDF 및 이미지 준비, 선택적 레이아웃 영역 감지, 병렬 크롭 추론, 결과 조립을 수행하는 MCP 서비스가 포함된 Agent Skill이 제공됩니다. 로컬 브라우저 데모에서는 전체 페이지 및 영역 파싱, KIE, VQA, PDF 파싱을 지원합니다. 추론은 SGLang 또는 vLLM에서 실행되며, 커뮤니티 BF16 GGUF 패키지를 사용하는 실험적인 Ollama 경로도 있습니다.
영역 모드는 PaddleX와 PP-DocLayoutV3를 사용하며, 인쇄된 정형 문서에 적합합니다. 장면 텍스트, 손글씨 또는 비정형 레이아웃에는 전체 페이지 파싱을 권장합니다.
핵심 기능
- 01문서 페이지를 Markdown으로 파싱하고, 표는 HTML로, 수식은 LaTeX로 변환합니다.
- 02문서에서 요청한 항목을 JSON으로 추출합니다.
- 03문서 이미지에 관한 OCR 중심 질문에 답합니다.
- 04로컬 에이전트 연동을 위한 MCP 서비스와 Agent Skill을 제공합니다.
- 05페이지, 영역, KIE, VQA, PDF 파싱을 지원하는 로컬 브라우저 데모를 제공합니다.
- 06SGLang 또는 vLLM에서 실행되며, 실험적으로 Ollama도 지원합니다.
활용 사례
- 스캔하거나 디지털 형식으로 된 PDF를 후속 처리용 Markdown으로 변환합니다.
- 인보이스나 양식 데이터와 같은 구조화된 항목을 JSON으로 추출합니다.
- 문서 이미지에 포함된 텍스트, 차트 또는 표에 관해 질문합니다.
- AI 에이전트가 MCP를 통해 호출할 수 있는 로컬 OCR 서비스를 실행합니다.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git - 2
vLLM inference server를 시작합니다(계속 실행 상태로 둡니다)
vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 - 3
저장소 디렉터리에서 가상 환경을 만들고 requirements를 설치합니다
python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt - 4
브라우저 데모를 시작한 다음 http://127.0.0.1:8787 을 엽니다
python demo/server.py --port 8787
사용 전 알아둘 점
- 호환되는 GPU와 별도로 설치한 SGLang 또는 vLLM runtime이 필요하며, 하드웨어별 요구 사항이 있습니다.
- 영역 파싱에는 추가 PaddlePaddle 및 PaddleX 종속성이 필요합니다.
- Ollama 경로는 실험 단계이며 벤치마크를 기준으로 정확도가 검증되지 않았습니다.
포함된 컬렉션
토픽
자주 묻는 질문
- Xiaomi-OCR-0은(는) 무엇인가요?
- 문서 파싱, 핵심 정보 추출, OCR 중심 시각 질의응답을 위한 통합 0.8B 비전-언어 모델입니다. Xiaomi-OCR-0은 Qwen3.5-0.8B를 기반으로 OCR 중심 코퍼스에서 학습한 0.8B 비전-언어 모델입니다. 문서 페이지 이미지를 구조화된 Markdown으로 변환하며, 표는 HTML로, 수식은 LaTeX로 변환합니다. 요청한 항목을 JSON으로 추출하고 문서 이미지 속 텍스트에 관한 질문에도 답합니다.
- Xiaomi-OCR-0은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Xiaomi-OCR-0은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Xiaomi-OCR-0은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Xiaomi-OCR-0의 마지막 커밋은 2026년 10월 29일입니다.
- Xiaomi-OCR-0은(는) 어디에 사용할 수 있나요?
- 스캔하거나 디지털 형식으로 된 PDF를 후속 처리용 Markdown으로 변환합니다. 인보이스나 양식 데이터와 같은 구조화된 항목을 JSON으로 추출합니다. 문서 이미지에 포함된 텍스트, 차트 또는 표에 관해 질문합니다. AI 에이전트가 MCP를 통해 호출할 수 있는 로컬 OCR 서비스를 실행합니다.
- Xiaomi-OCR-0는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git vLLM inference server를 시작합니다(계속 실행 상태로 둡니다): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 저장소 디렉터리에서 가상 환경을 만들고 requirements를 설치합니다: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt 브라우저 데모를 시작한 다음 http://127.0.0.1:8787 을 엽니다: python demo/server.py --port 8787
- Xiaomi-OCR-0은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/xiaomi-research/Xiaomi-OCR-0
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
복잡한 문서에서 텍스트, 표, 수식, 레이아웃을 추출하는 0.9B 파라미터 멀티모달 OCR 모델 및 SDK입니다.
Qwen3.5와 C-RADIOv4-H 기반의 9B 오픈 웨이트 멀티모달 모델
PDF와 이미지를 LLM 및 RAG 파이프라인용 구조화된 Markdown이나 JSON으로 변환하는 오픈소스 OCR 및 문서 AI 툴킷입니다.
PDF, Office 파일과 이미지를 레이아웃 분석 및 OCR을 거쳐 LLM에 바로 사용할 수 있는 청크로 변환하는 셀프 호스팅 문서 인텔리전스 API입니다.
MiniCPM-OCR은 오픈소스 문서 파싱 모델 제품군과 OCR 결과의 정확도를 평가하는 보조 모델입니다.