Biblioteca Python que usa LLMs e pipelines baseados em grafos para extrair dados estruturados de sites e documentos locais a partir de prompts em linguagem natural.
31,9 mil3,4 milPythonMITAtualizado há 13 dias
unclecode/crawl4ai
Crawler web de código aberto em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, RAG, agentes de IA e pipelines de dados.
Alternativa open source a:Firecrawl
Apify
ScrapingBee
- Estrelas
- 85,772
- Forks
- 8,915
- Issues abertas
- 263
- Último commit
- há 4 dias
O que é?
O Crawl4AI é um crawler e scraper web de código aberto, escrito em Python. Ele acessa páginas com um navegador real e as converte em Markdown limpo, que modelos de linguagem conseguem ler, tornando-o útil para geração aumentada por recuperação (RAG), agentes de IA e pipelines de dados. Também extrai JSON estruturado de páginas, usando esquemas CSS e XPath que não precisam de LLM ou qualquer provedor de LLM compatível com LiteLLM.
A biblioteca lida com páginas com muito JavaScript, rolagem infinita, sessões, cookies, proxies e perfis persistentes de navegador. Ela oferece suporte a crawls profundos com estratégias breadth-first, depth-first e best-first, além da descoberta de URLs por sitemaps e Common Crawl. Um servidor Docker disponibiliza endpoints REST como /md, /crawl e /screenshot, e a ferramenta de linha de comando crwl atende a tarefas rápidas.
O projeto também oferece o Crawl4AI Cloud, uma API hospedada com endpoints de busca, SERP e respostas, além de um servidor MCP para conectar agentes de IA. A biblioteca principal e o servidor que você hospeda por conta própria são gratuitos sob a licença Apache-2.0.
Recursos principais
- 01Converte páginas em Markdown limpo com filtros que removem menus, rodapés e conteúdo supérfluo.
- 02Extrai JSON estruturado usando esquemas CSS/XPath ou qualquer provedor de LLM.
- 03Executa JavaScript, aguarda elementos e percorre páginas inteiras para carregar conteúdo sob demanda.
- 04Oferece suporte a crawls profundos (BFS, DFS, best-first) e à coleta em massa de URLs.
- 05Oferece controle do navegador com perfis persistentes, proxies, sessões e opções de stealth.
- 06Inclui um servidor REST Docker, uma CLI crwl e um endpoint MCP.
Casos de uso
- Enviar conteúdo da web para um pipeline RAG ou banco de dados vetorial.
- Permitir que um agente de IA leia e resuma páginas da web em tempo real.
- Extrair dados estruturados de páginas de produtos ou preços sem precisar escrever parsers manualmente.
- Arquivar sites de documentação em Markdown para pesquisas offline.
Início rápido
- 1
Instale o pacote pelo PyPI
pip install -U crawl4ai - 2
Instale o navegador (execute uma vez)
crawl4ai-setup - 3
Execute o exemplo em Python para rastrear uma página como Markdown
Antes de usar
- É necessário instalar um navegador baseado em Chromium via setup, o que aumenta o tamanho da instalação.
- Recursos na nuvem, como /search, /serp e /answer, exigem uma conta paga ou baseada em créditos; o plano gratuito tem limites de uso.
Tópicos
Perguntas frequentes
- O que é crawl4ai?
- Crawler web de código aberto em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, RAG, agentes de IA e pipelines de dados. O Crawl4AI é um crawler e scraper web de código aberto, escrito em Python. Ele acessa páginas com um navegador real e as converte em Markdown limpo, que modelos de linguagem conseguem ler, tornando-o útil para geração aumentada por recuperação (RAG), agentes de IA e pipelines de dados. Também extrai JSON estruturado de páginas, usando esquemas CSS e XPath que não precisam de LLM ou qualquer provedor de LLM compatível com LiteLLM.
- crawl4ai é gratuito? Qual é a licença?
- crawl4ai é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- crawl4ai ainda é mantido?
- Manutenção ativa. O último commit de crawl4ai foi em 15 de out. de 2026.
- Para que posso usar crawl4ai?
- Enviar conteúdo da web para um pipeline RAG ou banco de dados vetorial. Permitir que um agente de IA leia e resuma páginas da web em tempo real. Extrair dados estruturados de páginas de produtos ou preços sem precisar escrever parsers manualmente. Arquivar sites de documentação em Markdown para pesquisas offline.
- Como instalar crawl4ai?
- Instale o pacote pelo PyPI: pip install -U crawl4ai Instale o navegador (execute uma vez): crawl4ai-setup Execute o exemplo em Python para rastrear uma página como Markdown
- Onde consigo crawl4ai?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/unclecode/crawl4ai
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca Python de código aberto para agentes de IA que controlam um navegador real com um LLM, com opção de navegador na nuvem hospedado e API de agentes.
118,4 mil13,1 milPythonMITAtualizado ontem
Agente autônomo open source que faz pesquisas aprofundadas na web e em documentos locais com qualquer provedor de LLM e gera relatórios com citações.
30,2 mil4,3 milPythonApache-2.0Atualizado há 8 dias
AutoGPT é uma plataforma open source para criar, executar e agendar agentes de IA que concluem fluxos de trabalho com várias etapas a partir de descrições em linguagem natural ou de um editor visual.
187,6 mil45,9 milPythonOtherAtualizado há 7 horas
Um app de IA completo para conversar com seus documentos e executar agentes de IA, com suporte a LLMs locais, acesso multiusuário e criação de agentes sem código.
67,3 mil7,5 milJavaScriptMITAtualizado anteontem
Framework e runtime Python para criar plataformas de agentes, disponibilizá-los como API e gerenciá-los por uma interface web.
42,8 mil6,2 milPythonApache-2.0Atualizado ontem