apify/crawlee-python

O que é?

Recursos principais

• 01Interface unificada para crawling via HTTP e headless browser.
• 02Crawling paralelo automático com base nos recursos disponíveis do sistema.
• 03Novas tentativas automáticas e rotação de proxies integrada com gerenciamento de sessões.
• 04Fila persistente de URLs e armazenamento extensível para dados tabulares e arquivos.
• 05Roteamento de requisições que envia URLs para handlers específicos.

Casos de uso

• Extrair dados estruturados de produtos ou artigos em sites e organizá-los em datasets.
• Coletar conteúdo da web, como HTML ou PDFs, para alimentar pipelines de IA, LLM ou RAG.
• Automatizar o scraping de sites com muito JavaScript usando Playwright.
• Executar crawls longos e retomáveis, que resistem a interrupções.

Início rápido

1. 1

   Instale o Crawlee com todos os recursos usando pip

   python -m pip install 'crawlee[all]'
2. 2

   Instale as dependências do navegador do Playwright

   playwright install
3. 3

   Verifique a instalação exibindo a versão

   python -c 'import crawlee; print(crawlee.__version__)'

Antes de usar

• !Para fazer crawling completo com o navegador, é necessário instalar separadamente as dependências do navegador do Playwright.

Tópicos

Perguntas frequentes

O que é crawlee-python?

Biblioteca Python para criar crawlers e scrapers web confiáveis, com modos HTTP e headless browser, rotação de proxies e armazenamento persistente. Crawlee é uma biblioteca Python para web scraping e automação de navegadores. Ela cuida da infraestrutura do crawling: descobre links, enfileira URLs, executa requisições em paralelo, tenta novamente acessar páginas que falharam e armazena os dados extraídos em formatos legíveis por máquina, para que os desenvolvedores possam se concentrar na lógica de extração.

crawlee-python é gratuito? Qual é a licença?

crawlee-python é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

crawlee-python ainda é mantido?

Manutenção ativa. O último commit de crawlee-python foi em 6 de nov. de 2026.

Para que posso usar crawlee-python?

Extrair dados estruturados de produtos ou artigos em sites e organizá-los em datasets. Coletar conteúdo da web, como HTML ou PDFs, para alimentar pipelines de IA, LLM ou RAG. Automatizar o scraping de sites com muito JavaScript usando Playwright. Executar crawls longos e retomáveis, que resistem a interrupções.

Como instalar crawlee-python?

Instale o Crawlee com todos os recursos usando pip: python -m pip install 'crawlee[all]' Instale as dependências do navegador do Playwright: playwright install Verifique a instalação exibindo a versão: python -c 'import crawlee; print(crawlee.__version__)'

Onde consigo crawlee-python?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apify/crawlee-python