Repolode
xiaomi-research

xiaomi-research/Xiaomi-OCR-0

Modelo unificado de visão e linguagem de 0,8B para analisar documentos, extrair informações importantes e responder a perguntas visuais com foco em OCR.

Estrelas
956
Forks
57
Issues abertas
0
Último commit
há 9 dias

O que é?

Xiaomi-OCR-0 é um modelo de visão e linguagem de 0,8B baseado no Qwen3.5-0.8B e treinado com um corpus focado em OCR. Ele converte imagens de páginas de documentos em Markdown estruturado, com tabelas convertidas para HTML e fórmulas escritas em LaTeX. Também extrai campos solicitados em JSON e responde a perguntas sobre o texto em imagens de documentos.

O repositório inclui um Agent Skill com um serviço MCP que processa prompts, prepara PDFs e imagens, detecta regiões do layout de forma opcional, executa inferência paralela em recortes e reúne os resultados. Uma demonstração local no navegador permite analisar páginas inteiras e regiões, além de fazer KIE, VQA e análise de PDFs. A inferência funciona com SGLang ou vLLM; há também um caminho experimental com Ollama que usa um pacote GGUF BF16 da comunidade.

O modo de regiões usa PaddleX com PP-DocLayoutV3 e é indicado para documentos impressos e com layout regular. Para texto em cenas, escrita à mão ou layouts irregulares, o projeto recomenda a análise da página inteira.

Recursos principais

  • 01Analisa páginas de documentos e as converte em Markdown, com tabelas em HTML e fórmulas em LaTeX.
  • 02Extrai campos solicitados de documentos em formato JSON.
  • 03Responde a perguntas sobre imagens de documentos com foco em OCR.
  • 04Oferece um serviço MCP e um Agent Skill para integração com agentes locais.
  • 05Inclui uma demonstração local no navegador para análise de páginas, regiões, KIE, VQA e PDFs.
  • 06Funciona com SGLang ou vLLM e oferece suporte experimental ao Ollama.

Casos de uso

  • Converter PDFs digitalizados ou digitais em Markdown para processamento posterior.
  • Extrair em JSON campos estruturados, como dados de faturas ou formulários.
  • Fazer perguntas sobre textos, gráficos ou tabelas em imagens de documentos.
  • Executar um serviço de OCR local que um agente de IA pode chamar pelo MCP.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git
  2. 2

    Inicie o servidor de inferência do vLLM (mantenha-o em execução)

    vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384
  3. 3

    No diretório do repositório, crie um ambiente virtual e instale os requisitos

    python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt
  4. 4

    Inicie a demonstração no navegador e abra http://127.0.0.1:8787

    python demo/server.py --port 8787

Antes de usar

  • Requer uma GPU compatível e um runtime SGLang ou vLLM instalado separadamente, que têm requisitos específicos de hardware.
  • A análise de regiões requer dependências adicionais do PaddlePaddle e do PaddleX.
  • A opção do Ollama é experimental e sua precisão não foi validada com base nos benchmarks.

Em coleções

Tópicos

Perguntas frequentes

O que é Xiaomi-OCR-0?
Modelo unificado de visão e linguagem de 0,8B para analisar documentos, extrair informações importantes e responder a perguntas visuais com foco em OCR. Xiaomi-OCR-0 é um modelo de visão e linguagem de 0,8B baseado no Qwen3.5-0.8B e treinado com um corpus focado em OCR. Ele converte imagens de páginas de documentos em Markdown estruturado, com tabelas convertidas para HTML e fórmulas escritas em LaTeX. Também extrai campos solicitados em JSON e responde a perguntas sobre o texto em imagens de documentos.
Xiaomi-OCR-0 é gratuito? Qual é a licença?
Xiaomi-OCR-0 é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Xiaomi-OCR-0 ainda é mantido?
Manutenção ativa. O último commit de Xiaomi-OCR-0 foi em 29 de out. de 2026.
Para que posso usar Xiaomi-OCR-0?
Converter PDFs digitalizados ou digitais em Markdown para processamento posterior. Extrair em JSON campos estruturados, como dados de faturas ou formulários. Fazer perguntas sobre textos, gráficos ou tabelas em imagens de documentos. Executar um serviço de OCR local que um agente de IA pode chamar pelo MCP.
Como instalar Xiaomi-OCR-0?
Clone o repositório: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git Inicie o servidor de inferência do vLLM (mantenha-o em execução): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 No diretório do repositório, crie um ambiente virtual e instale os requisitos: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt Inicie a demonstração no navegador e abra http://127.0.0.1:8787: python demo/server.py --port 8787
Onde consigo Xiaomi-OCR-0?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/xiaomi-research/Xiaomi-OCR-0

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados