Crawler web open source em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, com extração estruturada baseada em CSS/LLM e uma API hospedada opcional.
85,8 mil8,9 milPythonApache-2.0Atualizado há 11 horas
ScrapeGraphAI/Scrapegraph-ai
Biblioteca Python de web scraping que usa LLMs e pipelines baseados em grafos para extrair dados estruturados de sites e documentos locais a partir de um prompt de texto.
Alternativa open source a:Firecrawl
- Estrelas
- 31,952
- Forks
- 3,384
- Issues abertas
- 23
- Último commit
- há 13 dias
O que é?
ScrapeGraphAI é uma biblioteca Python para web scraping que substitui seletores escritos à mão por prompts em linguagem natural. Você informa quais dados quer, e a biblioteca monta um pipeline de scraping que acessa a página, envia o conteúdo para um LLM e retorna os dados extraídos em um dicionário. Também aceita documentos locais como XML, HTML, JSON e Markdown como entrada.
A biblioteca inclui vários pipelines: SmartScraperGraph para uma única página, SearchGraph para os principais resultados de um mecanismo de busca, SpeechGraph para gerar áudio e ScriptCreatorGraph para criar um script Python. As versões para várias páginas executam chamadas a LLMs em paralelo. É possível acessar modelos por APIs como OpenAI, Groq, Azure e Gemini, ou executá-los localmente com o Ollama.
A biblioteca open source é auto-hospedada, então você mesmo gerencia navegadores (Playwright), proxies e escalabilidade. O projeto também oferece uma API cloud gerenciada separadamente e SDKs para Python e JavaScript para equipes que preferem um serviço hospedado.
Recursos principais
- 01Extrai dados de uma página com base em um prompt em linguagem natural.
- 02Dá suporte a URLs da web e arquivos locais XML, HTML, JSON e Markdown.
- 03Oferece pipelines para uma ou várias páginas, incluindo scraping de resultados de busca.
- 04Pode gerar áudio ou scripts Python de scraping reutilizáveis.
- 05Funciona com provedores de LLM na nuvem e modelos locais via Ollama.
Casos de uso
- Extrair descrições de empresas, informações sobre fundadores ou links de contato de vários sites.
- Coletar dados estruturados de páginas sem precisar manter seletores CSS ou XPath.
- Enviar conteúdo da web limpo para agentes de IA ou pipelines de RAG.
- Executar tarefas privadas de scraping com modelos locais para manter os dados na sua própria infraestrutura.
Início rápido
- 1
Instale a biblioteca pelo PyPI
pip install scrapegraphai - 2
Instale os navegadores do Playwright (necessários para acessar sites)
playwright install - 3
Execute o exemplo do SmartScraperGraph com sua configuração de LLM
Antes de usar
- Requer um LLM: um modelo local via Ollama ou uma chave de API paga, como a da OpenAI.
- Ao hospedar por conta própria, você precisa gerenciar os navegadores, os proxies e o dimensionamento.
- A telemetria vem ativada por padrão e precisa ser desativada por meio de uma variável de ambiente.
Tópicos
Perguntas frequentes
- O que é Scrapegraph-ai?
- Biblioteca Python de web scraping que usa LLMs e pipelines baseados em grafos para extrair dados estruturados de sites e documentos locais a partir de um prompt de texto. ScrapeGraphAI é uma biblioteca Python para web scraping que substitui seletores escritos à mão por prompts em linguagem natural. Você informa quais dados quer, e a biblioteca monta um pipeline de scraping que acessa a página, envia o conteúdo para um LLM e retorna os dados extraídos em um dicionário. Também aceita documentos locais como XML, HTML, JSON e Markdown como entrada.
- Scrapegraph-ai é gratuito? Qual é a licença?
- Scrapegraph-ai é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Scrapegraph-ai ainda é mantido?
- Manutenção ativa. O último commit de Scrapegraph-ai foi em 6 de out. de 2026.
- Para que posso usar Scrapegraph-ai?
- Extrair descrições de empresas, informações sobre fundadores ou links de contato de vários sites. Coletar dados estruturados de páginas sem precisar manter seletores CSS ou XPath. Enviar conteúdo da web limpo para agentes de IA ou pipelines de RAG. Executar tarefas privadas de scraping com modelos locais para manter os dados na sua própria infraestrutura.
- Como instalar Scrapegraph-ai?
- Instale a biblioteca pelo PyPI: pip install scrapegraphai Instale os navegadores do Playwright (necessários para acessar sites): playwright install Execute o exemplo do SmartScraperGraph com sua configuração de LLM
- Onde consigo Scrapegraph-ai?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ScrapeGraphAI/Scrapegraph-ai
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um scraper de web com tecnologia LLM, feito com Streamlit, que extrai dados de páginas usando modelos OpenAI, Gemini, Ollama ou LiteLLM.
3,3 mil382PythonMITAtualizado há 7 dias
Agente autônomo de pesquisa open source que planeja perguntas, coleta fontes da web e locais e escreve relatórios com citações usando qualquer provedor de LLM.
30,2 mil4,3 milPythonApache-2.0Atualizado há 9 dias
Tutorial modular de Agentic RAG com LangGraph, com indexação hierárquica, memória de conversa e esclarecimento de consultas.
4,3 mil587Jupyter NotebookMITAtualizado anteontem
Biblioteca Python de código aberto para criar agentes de IA que controlam um navegador real, com navegadores stealth opcionais do Browser Use Cloud e API de agentes hospedada.
118,5 mil13,2 milPythonMITAtualizado anteontem
Assistente de IA para desktop e multiplataforma que se conecta aos principais provedores de LLM e funciona como cliente MCP com uma base de conhecimento local.
5,4 mil435TypeScriptOtherAtualizado mês passado