Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.
32 mil3,4 milPythonMITActualizado hace 14 días
- Estrellas
- 3,293
- Forks
- 382
- Issues abiertos
- 1
- Último commit
- hace 8 días
¿Qué es?
CyberScraper 2077 es un scraper web que utiliza modelos de lenguaje grandes para convertir páginas web en datos estructurados. Introduces una URL y describes en lenguaje natural lo que necesitas; la herramienta obtiene la página con Playwright y le pide al modelo elegido que extraiga el contenido correspondiente. Entre los backends compatibles están OpenAI, Gemini, modelos locales mediante Ollama y cualquier modelo disponible a través de un proxy de LiteLLM.
El proyecto incluye una interfaz web de Streamlit y puede ejecutarse localmente con Python 3.10 o posterior, o dentro de Docker. Los resultados se pueden exportar como JSON, CSV, HTML, SQL o Excel, y los datos CSV se pueden subir a Google Sheets. El scraping de varias páginas admite patrones de URL y rangos de páginas. El proyecto también incluye enrutamiento mediante Tor para direcciones .onion y gestión opcional de captchas a través de una ventana del navegador.
El autor señala que los modelos locales de código abierto necesitan una máquina potente y pueden requerir ajustes en los prompts. Para seguir instrucciones con mayor precisión, recomienda OpenAI o Gemini.
Funciones clave
- 01Extrae datos de páginas web mediante instrucciones en lenguaje natural y modelos de OpenAI, Gemini u Ollama.
- 02Admite proxies de LiteLLM para usar cualquier modelo que pongan a disposición.
- 03Exporta resultados a JSON, CSV, HTML, SQL o Excel.
- 04Sube datos CSV a Google Sheets.
- 05Extrae datos de varias páginas mediante patrones de URL y rangos de páginas.
- 06Enruta las URL .onion a través de la red Tor.
Casos de uso
- Extraer datos de productos o anuncios de sitios web paginados y organizarlos en una hoja de cálculo.
- Crear prototipos de extracción estructurada de páginas sin escribir selectores específicos para cada sitio.
- Ejecutar el scraping con un modelo local de Ollama para mantener los datos en tu propia máquina.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/itsOwen/CyberScraper-2077.git - 2
Instala los paquetes necesarios
pip install -r requirements.txt - 3
Instala Playwright
playwright install - 4
Inicia la aplicación de Streamlit y abre http://localhost:8501
streamlit run main.py
Antes de usarlo
- Se requiere Python 3.10 o posterior.
- Se necesita una clave de API de OpenAI o Gemini, o una instalación local de Ollama para modelos de código abierto.
- El autor recomienda OpenAI y Gemini en lugar de los LLM de código abierto, que pueden ser más lentos y requerir un sistema potente.
- La omisión de Captcha y las funciones del navegador actual no funcionan en Docker; se recomienda Docker a los usuarios de Windows.
Temas
Preguntas frecuentes
- ¿Qué es CyberScraper-2077?
- Un scraper web con tecnología LLM y basado en Streamlit que extrae datos de páginas usando modelos de OpenAI, Gemini, Ollama o LiteLLM. CyberScraper 2077 es un scraper web que utiliza modelos de lenguaje grandes para convertir páginas web en datos estructurados. Introduces una URL y describes en lenguaje natural lo que necesitas; la herramienta obtiene la página con Playwright y le pide al modelo elegido que extraiga el contenido correspondiente. Entre los backends compatibles están OpenAI, Gemini, modelos locales mediante Ollama y cualquier modelo disponible a través de un proxy de LiteLLM.
- ¿CyberScraper-2077 es gratuito? ¿Qué licencia tiene?
- CyberScraper-2077 es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿CyberScraper-2077 sigue mantenido?
- Mantenimiento activo. El último commit de CyberScraper-2077 fue el 12 oct 2026.
- ¿Para qué puedo usar CyberScraper-2077?
- Extraer datos de productos o anuncios de sitios web paginados y organizarlos en una hoja de cálculo. Crear prototipos de extracción estructurada de páginas sin escribir selectores específicos para cada sitio. Ejecutar el scraping con un modelo local de Ollama para mantener los datos en tu propia máquina.
- ¿Cómo se instala CyberScraper-2077?
- Clona el repositorio: git clone https://github.com/itsOwen/CyberScraper-2077.git Instala los paquetes necesarios: pip install -r requirements.txt Instala Playwright: playwright install Inicia la aplicación de Streamlit y abre http://localhost:8501: streamlit run main.py
- ¿Dónde consigo CyberScraper-2077?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/itsOwen/CyberScraper-2077
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
85,8 mil8,9 milPythonApache-2.0Actualizado ayer
Biblioteca Python de código abierto para crear agentes de IA que controlan un navegador real, con navegadores sigilosos opcionales de Browser Use Cloud y una API de agentes alojada.
118,5 mil13,2 milPythonMITActualizado hace 3 días
Framework de código abierto escrito en Go que organiza prompts de IA reutilizables (llamados Patterns) por tarea y permite ejecutarlos desde la línea de comandos o una API REST.
44,4 mil4,3 milGoMITActualizado anteayer
Framework para el uso autónomo de Android y computadoras: permite que un LLM planificador y otro localizador operen teléfonos y equipos a partir de instrucciones en lenguaje natural.
71487PythonMITActualizado hace 7 meses
Framework de web scraping para Python que abarca desde solicitudes HTTP individuales y navegadores stealth hasta análisis y rastreos concurrentes completos con exportación.
88,6 mil9,1 milPythonBSD-3-ClauseActualizado hace 19 horas