Modelo OCR de visión y lenguaje de código abierto de Baidu que convierte documentos largos de varias páginas y PDF en texto estructurado en una sola pasada.
30,6 mil+909 esta semana3,3 milPythonMITActualizado hace 4 días
xiaomi-research/Xiaomi-OCR-0
Modelo unificado de visión y lenguaje de 0,8B para analizar documentos, extraer información clave y responder preguntas visuales centradas en OCR.
- Estrellas
- 936
- Forks
- 57
- Issues abiertos
- 0
- Último commit
- hace 8 días
¿Qué es?
Xiaomi-OCR-0 es un modelo de visión y lenguaje de 0,8B basado en Qwen3.5-0.8B y entrenado con un corpus centrado en OCR. Convierte imágenes de páginas de documentos en Markdown estructurado, con las tablas en HTML y las fórmulas en LaTeX. También extrae los campos solicitados en formato JSON y responde preguntas sobre el texto de las imágenes de documentos.
El repositorio incluye un Agent Skill con un servicio MCP que gestiona los prompts, la preparación de PDF e imágenes, la detección opcional de regiones de la maquetación, la inferencia paralela de recortes y el ensamblaje de los resultados. Incluye una demo local en el navegador para analizar páginas completas y regiones, realizar KIE y VQA, y procesar PDF. La inferencia se ejecuta con SGLang o vLLM, y hay una opción experimental para Ollama que usa un paquete comunitario GGUF BF16.
El modo de regiones usa PaddleX con PP-DocLayoutV3 y es adecuado para documentos impresos con una maquetación regular. Para texto en escenas, escritura a mano o maquetaciones irregulares, el proyecto recomienda analizar la página completa.
Funciones clave
- 01Convierte páginas de documentos a Markdown, con las tablas en HTML y las fórmulas en LaTeX.
- 02Extrae en formato JSON los campos solicitados de los documentos.
- 03Responde preguntas sobre imágenes de documentos centradas en OCR.
- 04Incluye un servicio MCP y un Agent Skill para integrar agentes locales.
- 05Ofrece una demo local en el navegador para analizar páginas, regiones y PDF, y realizar KIE y VQA.
- 06Funciona con SGLang o vLLM, y ofrece compatibilidad experimental con Ollama.
Casos de uso
- Convertir PDF escaneados o digitales a Markdown para su procesamiento posterior.
- Extraer en formato JSON campos estructurados, como datos de facturas o formularios.
- Hacer preguntas sobre el texto, los gráficos o las tablas de imágenes de documentos.
- Ejecutar un servicio OCR local al que un agente de IA pueda llamar mediante MCP.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git - 2
Inicia el servidor de inferencia de vLLM (déjalo en ejecución)
vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 - 3
En el directorio del repositorio, crea un entorno virtual e instala los requisitos
python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt - 4
Inicia la demo en el navegador y abre http://127.0.0.1:8787
python demo/server.py --port 8787
Antes de usarlo
- Necesita una GPU compatible y un runtime de SGLang o vLLM instalado por separado, que tienen requisitos de hardware específicos.
- El análisis de regiones requiere dependencias adicionales de PaddlePaddle y PaddleX.
- La opción de Ollama es experimental y su precisión no se ha validado con los benchmarks.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es Xiaomi-OCR-0?
- Modelo unificado de visión y lenguaje de 0,8B para analizar documentos, extraer información clave y responder preguntas visuales centradas en OCR. Xiaomi-OCR-0 es un modelo de visión y lenguaje de 0,8B basado en Qwen3.5-0.8B y entrenado con un corpus centrado en OCR. Convierte imágenes de páginas de documentos en Markdown estructurado, con las tablas en HTML y las fórmulas en LaTeX. También extrae los campos solicitados en formato JSON y responde preguntas sobre el texto de las imágenes de documentos.
- ¿Xiaomi-OCR-0 es gratuito? ¿Qué licencia tiene?
- Xiaomi-OCR-0 es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Xiaomi-OCR-0 sigue mantenido?
- Mantenimiento activo. El último commit de Xiaomi-OCR-0 fue el 29 oct 2026.
- ¿Para qué puedo usar Xiaomi-OCR-0?
- Convertir PDF escaneados o digitales a Markdown para su procesamiento posterior. Extraer en formato JSON campos estructurados, como datos de facturas o formularios. Hacer preguntas sobre el texto, los gráficos o las tablas de imágenes de documentos. Ejecutar un servicio OCR local al que un agente de IA pueda llamar mediante MCP.
- ¿Cómo se instala Xiaomi-OCR-0?
- Clona el repositorio: git clone https://github.com/SeerRay-Lab/Xiaomi-OCR-0.git Inicia el servidor de inferencia de vLLM (déjalo en ejecución): vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --max-model-len 16384 En el directorio del repositorio, crea un entorno virtual e instala los requisitos: python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt Inicia la demo en el navegador y abre http://127.0.0.1:8787: python demo/server.py --port 8787
- ¿Dónde consigo Xiaomi-OCR-0?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/xiaomi-research/Xiaomi-OCR-0
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Modelo OCR multimodal de 0,9B de parámetros y SDK para extraer texto, tablas, fórmulas y estructura de documentos complejos.
7,6 mil+24 esta semana676PythonApache-2.0Actualizado hace 23 días
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
3,1 mil517PythonApache-2.0Actualizado hace 2 meses
Kit de herramientas OCR y de IA documental de código abierto que convierte PDF e imágenes en Markdown o JSON estructurado para flujos de trabajo de LLM y RAG.
92,3 mil+365 esta semana11,6 milPythonApache-2.0Actualizado hace 2 meses
API de inteligencia documental autoalojada que convierte PDF, archivos de Office e imágenes en fragmentos listos para LLM, con análisis de diseño y OCR.
4,2 mil+5 esta semana277RustAGPL-3.0Actualizado hace 2 meses
MiniCPM-OCR es una familia de modelos de código abierto para analizar documentos, junto con un modelo complementario que evalúa si los resultados de OCR son correctos.
823+181 esta semana60TypeScriptApache-2.0Bien mantenidoActualizado ayer