Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
85,8 mil8,9 milPythonApache-2.0Actualizado hace 11 horas
ScrapeGraphAI/Scrapegraph-ai
Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.
Alternativa open source a:Firecrawl
- Estrellas
- 31,952
- Forks
- 3,384
- Issues abiertos
- 23
- Último commit
- hace 13 días
¿Qué es?
ScrapeGraphAI es una biblioteca de Python para hacer scraping web que sustituye los selectores escritos a mano por instrucciones en lenguaje natural. Indicas qué información necesitas y la biblioteca crea un pipeline de scraping que obtiene la página, envía su contenido a un LLM y devuelve los datos extraídos en un diccionario. También acepta documentos locales como XML, HTML, JSON y Markdown.
La biblioteca incluye varios pipelines: SmartScraperGraph para una sola página, SearchGraph para los primeros resultados de un motor de búsqueda, SpeechGraph para generar audio y ScriptCreatorGraph para crear un script de Python. Las variantes para varias páginas ejecutan llamadas al LLM en paralelo. Se puede acceder a los modelos mediante API como OpenAI, Groq, Azure y Gemini, o ejecutarlos localmente con Ollama.
La biblioteca de código abierto se aloja en tu propia infraestructura, por lo que tú gestionas los navegadores (Playwright), los proxies y el escalado. El proyecto también ofrece una API de nube gestionada independiente, además de SDK de Python y JavaScript para los equipos que prefieren un servicio alojado.
Funciones clave
- 01Extrae datos de una página a partir de una instrucción en lenguaje natural.
- 02Admite URL web y archivos locales XML, HTML, JSON y Markdown.
- 03Ofrece pipelines para una o varias páginas, incluido el scraping de resultados de búsqueda.
- 04Puede generar audio o scripts de scraping reutilizables en Python.
- 05Funciona con proveedores de LLM en la nube y modelos locales mediante Ollama.
Casos de uso
- Obtener descripciones de empresas, datos de sus fundadores o enlaces de contacto de un conjunto de sitios web.
- Recopilar datos estructurados de páginas sin tener que mantener selectores CSS o XPath.
- Proporcionar contenido web depurado a agentes de IA o pipelines RAG.
- Ejecutar tareas de scraping privadas con modelos locales para mantener los datos en tu infraestructura.
Inicio rápido
- 1
Instala la biblioteca desde PyPI
pip install scrapegraphai - 2
Instala los navegadores de Playwright (necesarios para acceder a sitios web)
playwright install - 3
Ejecuta el ejemplo de SmartScraperGraph con tu configuración de LLM
Antes de usarlo
- Requiere un LLM: un modelo local mediante Ollama o una clave de API de pago, como la de OpenAI.
- Si lo alojas por tu cuenta, tendrás que gestionar los navegadores, los proxies y el escalado.
- La telemetría está activada de forma predeterminada y debe desactivarse mediante una variable de entorno.
Temas
Preguntas frecuentes
- ¿Qué es Scrapegraph-ai?
- Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto. ScrapeGraphAI es una biblioteca de Python para hacer scraping web que sustituye los selectores escritos a mano por instrucciones en lenguaje natural. Indicas qué información necesitas y la biblioteca crea un pipeline de scraping que obtiene la página, envía su contenido a un LLM y devuelve los datos extraídos en un diccionario. También acepta documentos locales como XML, HTML, JSON y Markdown.
- ¿Scrapegraph-ai es gratuito? ¿Qué licencia tiene?
- Scrapegraph-ai es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Scrapegraph-ai sigue mantenido?
- Mantenimiento activo. El último commit de Scrapegraph-ai fue el 6 oct 2026.
- ¿Para qué puedo usar Scrapegraph-ai?
- Obtener descripciones de empresas, datos de sus fundadores o enlaces de contacto de un conjunto de sitios web. Recopilar datos estructurados de páginas sin tener que mantener selectores CSS o XPath. Proporcionar contenido web depurado a agentes de IA o pipelines RAG. Ejecutar tareas de scraping privadas con modelos locales para mantener los datos en tu infraestructura.
- ¿Cómo se instala Scrapegraph-ai?
- Instala la biblioteca desde PyPI: pip install scrapegraphai Instala los navegadores de Playwright (necesarios para acceder a sitios web): playwright install Ejecuta el ejemplo de SmartScraperGraph con tu configuración de LLM
- ¿Dónde consigo Scrapegraph-ai?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ScrapeGraphAI/Scrapegraph-ai
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un scraper web con tecnología LLM y basado en Streamlit que extrae datos de páginas usando modelos de OpenAI, Gemini, Ollama o LiteLLM.
3,3 mil382PythonMITActualizado hace 7 días
Agente de investigación autónomo y de código abierto que planifica preguntas, recopila fuentes web y locales, y redacta informes con citas usando cualquier proveedor de LLM.
30,2 mil4,3 milPythonApache-2.0Actualizado hace 9 días
Tutorial y proyecto modular de Agentic RAG con LangGraph, con indexación jerárquica, memoria conversacional y aclaración de consultas.
4,3 mil587Jupyter NotebookMITActualizado anteayer
Biblioteca Python de código abierto para crear agentes de IA que controlan un navegador real, con navegadores sigilosos opcionales de Browser Use Cloud y una API de agentes alojada.
118,5 mil13,2 milPythonMITActualizado anteayer
Asistente de IA de escritorio multiplataforma que se conecta con los principales proveedores de LLM y funciona como cliente MCP con una base de conocimiento local.
5,4 mil435TypeScriptOtherActualizado el mes pasado