Biblioteca de Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de instrucciones en lenguaje natural.
31,9 mil3,4 milPythonMITActualizado hace 13 días
unclecode/crawl4ai
Crawler web de código abierto en Python que convierte sitios web en Markdown limpio, listo para LLM, RAG, agentes de IA y pipelines de datos.
Alternativa open source a:Firecrawl
Apify
ScrapingBee
- Estrellas
- 85,772
- Forks
- 8,915
- Issues abiertos
- 263
- Último commit
- hace 4 días
¿Qué es?
Crawl4AI es un crawler y scraper web de código abierto escrito en Python. Obtiene páginas con un navegador real y las convierte en Markdown limpio que los modelos de lenguaje pueden leer, por lo que resulta útil para la generación aumentada por recuperación (RAG), los agentes de IA y los pipelines de datos. También puede extraer JSON estructurado de las páginas, ya sea con esquemas CSS y XPath que no requieren un LLM o con cualquier proveedor de LLM compatible a través de LiteLLM.
La biblioteca gestiona páginas con mucho JavaScript, desplazamiento infinito, sesiones, cookies, proxies y perfiles de navegador persistentes. Admite rastreos profundos con estrategias de búsqueda en anchura, en profundidad y primero el mejor, además del descubrimiento de URL a partir de sitemaps y Common Crawl. Un servidor Docker expone endpoints REST como /md, /crawl y /screenshot, y la herramienta de línea de comandos crwl permite realizar tareas rápidas.
El proyecto también ofrece Crawl4AI Cloud, una API alojada con endpoints de búsqueda, SERP y respuestas, además de un servidor MCP para conectar agentes de IA. La biblioteca principal y el servidor autohospedado son gratuitos para ejecutar por cuenta propia bajo la licencia Apache-2.0.
Funciones clave
- 01Convierte páginas a Markdown limpio con filtros que eliminan menús, pies de página y contenido superfluo.
- 02Extrae JSON estructurado mediante esquemas CSS/XPath o cualquier proveedor de LLM.
- 03Ejecuta JavaScript, espera a que aparezcan elementos y desplaza páginas completas para cargar contenido de forma diferida.
- 04Admite rastreos profundos (BFS, DFS, primero el mejor) y el rastreo masivo de URL.
- 05Ofrece control del navegador con perfiles persistentes, proxies, sesiones y opciones de sigilo.
- 06Incluye un servidor REST en Docker, una CLI crwl y un endpoint MCP.
Casos de uso
- Incorporar contenido web a un pipeline de RAG o una base de datos vectorial.
- Permitir que un agente de IA lea y resuma páginas web en tiempo real.
- Extraer datos estructurados de páginas de productos o precios sin tener que escribir parsers manualmente.
- Archivar sitios de documentación en Markdown para realizar búsquedas sin conexión.
Inicio rápido
- 1
Instala el paquete desde PyPI
pip install -U crawl4ai - 2
Instala el navegador (solo hay que hacerlo una vez)
crawl4ai-setup - 3
Ejecuta el ejemplo de Python para rastrear una página como Markdown
Antes de usarlo
- Necesita un navegador basado en Chromium instalado mediante setup, lo que aumenta el tamaño de la instalación.
- Las funciones en la nube, como /search, /serp y /answer, requieren una cuenta de pago o basada en créditos; el plan gratuito tiene límites de uso.
Temas
Preguntas frecuentes
- ¿Qué es crawl4ai?
- Crawler web de código abierto en Python que convierte sitios web en Markdown limpio, listo para LLM, RAG, agentes de IA y pipelines de datos. Crawl4AI es un crawler y scraper web de código abierto escrito en Python. Obtiene páginas con un navegador real y las convierte en Markdown limpio que los modelos de lenguaje pueden leer, por lo que resulta útil para la generación aumentada por recuperación (RAG), los agentes de IA y los pipelines de datos. También puede extraer JSON estructurado de las páginas, ya sea con esquemas CSS y XPath que no requieren un LLM o con cualquier proveedor de LLM compatible a través de LiteLLM.
- ¿crawl4ai es gratuito? ¿Qué licencia tiene?
- crawl4ai es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿crawl4ai sigue mantenido?
- Mantenimiento activo. El último commit de crawl4ai fue el 15 oct 2026.
- ¿Para qué puedo usar crawl4ai?
- Incorporar contenido web a un pipeline de RAG o una base de datos vectorial. Permitir que un agente de IA lea y resuma páginas web en tiempo real. Extraer datos estructurados de páginas de productos o precios sin tener que escribir parsers manualmente. Archivar sitios de documentación en Markdown para realizar búsquedas sin conexión.
- ¿Cómo se instala crawl4ai?
- Instala el paquete desde PyPI: pip install -U crawl4ai Instala el navegador (solo hay que hacerlo una vez): crawl4ai-setup Ejecuta el ejemplo de Python para rastrear una página como Markdown
- ¿Dónde consigo crawl4ai?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/unclecode/crawl4ai
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca Python de código abierto para agentes de navegador con IA que permiten a un LLM controlar un navegador real, con navegador cloud y API de agentes opcionales.
118,4 mil13,1 milPythonMITActualizado ayer
Agente autónomo de código abierto que investiga a fondo en la web y en documentos locales con cualquier proveedor de LLM y genera informes con citas.
30,2 mil4,3 milPythonApache-2.0Actualizado hace 8 días
AutoGPT es una plataforma de código abierto para crear, ejecutar y programar agentes de IA que completan flujos de trabajo de varios pasos a partir de descripciones en lenguaje sencillo o de un constructor visual.
187,6 mil45,9 milPythonOtherActualizado hace 7 horas
Una app de IA todo en uno para chatear con tus documentos y ejecutar agentes de IA, con soporte local para LLM, acceso multiusuario y creación de agentes sin código.
67,3 mil7,5 milJavaScriptMITActualizado anteayer
Framework y entorno de ejecución de Python para crear plataformas de agentes, ofrecerlos como API y gestionarlos desde una interfaz web.
42,8 mil6,2 milPythonApache-2.0Actualizado ayer