Biblioteca Python de web scraping que usa LLMs e pipelines baseados em grafos para extrair dados estruturados de sites e documentos locais a partir de um prompt de texto.
32 mil3,4 milPythonMITAtualizado há 14 dias
- Estrelas
- 3,293
- Forks
- 382
- Issues abertas
- 1
- Último commit
- há 8 dias
O que é?
CyberScraper 2077 é um scraper de web que usa modelos de linguagem grandes para transformar páginas da web em dados estruturados. Você informa uma URL e descreve em linguagem natural o que quer, e a ferramenta busca a página com Playwright e pede ao modelo escolhido que extraia o conteúdo correspondente. Entre os backends compatíveis estão OpenAI, Gemini, modelos locais via Ollama e qualquer modelo disponibilizado por um proxy LiteLLM.
O projeto inclui uma interface web em Streamlit e pode ser executado localmente com Python 3.10+ ou dentro do Docker. Os resultados podem ser exportados como JSON, CSV, HTML, SQL ou Excel, e os dados CSV podem ser enviados ao Google Sheets. A extração de várias páginas aceita padrões de URL e intervalos de páginas; o projeto também inclui roteamento via Tor para endereços .onion e suporte opcional a captchas por meio de uma janela do navegador.
O autor observa que modelos locais de código aberto exigem uma máquina potente e podem precisar de ajustes nos prompts, e recomenda OpenAI ou Gemini para seguir instruções com mais precisão.
Recursos principais
- 01Extrai dados de páginas da web com instruções em linguagem natural, usando modelos OpenAI, Gemini ou Ollama.
- 02Compatível com proxies LiteLLM para usar qualquer modelo que eles disponibilizem.
- 03Exporta resultados como JSON, CSV, HTML, SQL ou Excel.
- 04Envia dados CSV ao Google Sheets.
- 05Extrai dados de várias páginas usando padrões de URL e intervalos de páginas.
- 06Roteia URLs .onion pela rede Tor.
Casos de uso
- Extrair dados de produtos ou anúncios de sites paginados e organizá-los em uma planilha.
- Prototipar a extração de dados estruturados de páginas sem escrever seletores específicos para cada site.
- Executar a extração com um modelo local do Ollama para manter os dados na própria máquina.
Início rápido
- 1
Clone o repositório
git clone https://github.com/itsOwen/CyberScraper-2077.git - 2
Instale os pacotes necessários
pip install -r requirements.txt - 3
Instale o Playwright
playwright install - 4
Inicie o app Streamlit e abra http://localhost:8501
streamlit run main.py
Antes de usar
- É necessário Python 3.10 ou superior.
- É necessária uma chave de API da OpenAI ou do Gemini, ou uma instalação local do Ollama para modelos de código aberto.
- O autor recomenda OpenAI e Gemini em vez de LLMs de código aberto, que podem ser mais lentos e exigir um sistema potente.
- O bypass de Captcha e os recursos do navegador atual não funcionam no Docker; usuários do Windows são orientados a usar o Docker.
Tópicos
Perguntas frequentes
- O que é CyberScraper-2077?
- Um scraper de web com tecnologia LLM, feito com Streamlit, que extrai dados de páginas usando modelos OpenAI, Gemini, Ollama ou LiteLLM. CyberScraper 2077 é um scraper de web que usa modelos de linguagem grandes para transformar páginas da web em dados estruturados. Você informa uma URL e descreve em linguagem natural o que quer, e a ferramenta busca a página com Playwright e pede ao modelo escolhido que extraia o conteúdo correspondente. Entre os backends compatíveis estão OpenAI, Gemini, modelos locais via Ollama e qualquer modelo disponibilizado por um proxy LiteLLM.
- CyberScraper-2077 é gratuito? Qual é a licença?
- CyberScraper-2077 é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- CyberScraper-2077 ainda é mantido?
- Manutenção ativa. O último commit de CyberScraper-2077 foi em 12 de out. de 2026.
- Para que posso usar CyberScraper-2077?
- Extrair dados de produtos ou anúncios de sites paginados e organizá-los em uma planilha. Prototipar a extração de dados estruturados de páginas sem escrever seletores específicos para cada site. Executar a extração com um modelo local do Ollama para manter os dados na própria máquina.
- Como instalar CyberScraper-2077?
- Clone o repositório: git clone https://github.com/itsOwen/CyberScraper-2077.git Instale os pacotes necessários: pip install -r requirements.txt Instale o Playwright: playwright install Inicie o app Streamlit e abra http://localhost:8501: streamlit run main.py
- Onde consigo CyberScraper-2077?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/itsOwen/CyberScraper-2077
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Crawler web open source em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, com extração estruturada baseada em CSS/LLM e uma API hospedada opcional.
85,8 mil8,9 milPythonApache-2.0Atualizado ontem
Biblioteca Python de código aberto para criar agentes de IA que controlam um navegador real, com navegadores stealth opcionais do Browser Use Cloud e API de agentes hospedada.
118,5 mil13,2 milPythonMITAtualizado há 3 dias
Framework de código aberto em Go que organiza prompts reutilizáveis de IA, chamados Patterns, por tarefa e os executa pela linha de comando ou por uma REST API.
44,4 mil4,3 milGoMITAtualizado anteontem
SDKs em TypeScript, Python e Go para agentes de navegador que controlam o Chrome com chamadas em linguagem natural para agir, observar e extrair dados, além de APIs no estilo Playwright.
25,7 mil1,8 milTypeScriptMITAtualizado há 9 horas
Automação de navegador open source que usa LLMs e visão computacional para executar fluxos de trabalho na web em qualquer site, estendendo o Playwright com comandos de IA.
23,2 mil2,2 milPythonAGPL-3.0Atualizado há 12 horas