Repolode
Enviar
spider-rs

spider-rs/spider

Crawler e mecanismo de scraping para web em Rust, com foco em concorrência e renderização de JavaScript apenas quando necessário.

Alternativa open source a:Scrapy CloudApify

Ver no GitHubSite
Estrelas
2,790
Forks
316
Issues abertas
4
Último commit
há 8 horas

O que é?

Spider é um mecanismo de crawling e scraping para web escrito em Rust. Ele transmite as páginas conforme são buscadas, usa HTTP simples por padrão e inicia o Chrome headless apenas para páginas que exigem renderização de JavaScript. A mesma API funciona tanto para um script local quanto para uma configuração com workers distribuídos.

A biblioteca cuida da descoberta de links, dos limites de profundidade e concorrência, dos intervalos entre requisições, do tratamento de robots.txt, do controle de subdomínios e da configuração do user-agent. Proxy, novas tentativas, limitação de taxa e opções de stealth já vêm integrados. Também é possível executar o mesmo mecanismo no Spider Cloud e passar a usar proxies gerenciados e proteção contra bots com uma alteração na configuração.

Há bindings e ferramentas para Rust, linha de comando, Node.js e Python, além de um servidor MCP para assistentes de IA.

Recursos principais

  • 01Transmite as páginas conforme são buscadas, sem esperar o fim do crawl.
  • 02Usa HTTP por padrão e inicia o Chrome headless apenas para páginas com uso intenso de JavaScript.
  • 03Controla a concorrência, a profundidade do crawl, o intervalo entre requisições e o cumprimento de robots.txt.
  • 04Oferece opções integradas de proxy, novas tentativas, limitação de taxa e stealth.
  • 05Disponibiliza bindings para Rust, Node.js e Python, além de uma CLI e um servidor MCP.

Casos de uso

  • Alimentar vector stores com conteúdo da web para pipelines de LLM ou RAG.
  • Monitorar mudanças de SEO ou atualizações de preços em sites.
  • Exportar páginas rastreadas como arquivos Markdown, JSON ou WARC.
  • Controlar o Chrome headless para agentes de navegação com IA.

Início rápido

  1. 1

    Adicione a biblioteca Rust ao seu projeto

    cargo add spider
  2. 2

    Ou instale a ferramenta de linha de comando

    cargo install spider_cli
  3. 3

    Escreva um crawler usando Website::new e crawl().await (consulte o exemplo no README)

Antes de usar

  • Para acessar todos os recursos do Spider Cloud, é necessária uma chave de API gratuita ou paga de um serviço de terceiros.

Tópicos

#web-crawler#web-scraping#rust#headless-chrome#scraping#automation#web-data#ai-agent#crawler#spider

Perguntas frequentes

O que é spider?
Crawler e mecanismo de scraping para web em Rust, com foco em concorrência e renderização de JavaScript apenas quando necessário. Spider é um mecanismo de crawling e scraping para web escrito em Rust. Ele transmite as páginas conforme são buscadas, usa HTTP simples por padrão e inicia o Chrome headless apenas para páginas que exigem renderização de JavaScript. A mesma API funciona tanto para um script local quanto para uma configuração com workers distribuídos.
spider é gratuito? Qual é a licença?
spider é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
spider ainda é mantido?
Manutenção ativa. O último commit de spider foi em 20 de out. de 2026.
Para que posso usar spider?
Alimentar vector stores com conteúdo da web para pipelines de LLM ou RAG. Monitorar mudanças de SEO ou atualizações de preços em sites. Exportar páginas rastreadas como arquivos Markdown, JSON ou WARC. Controlar o Chrome headless para agentes de navegação com IA.
Como instalar spider?
Adicione a biblioteca Rust ao seu projeto: cargo add spider Ou instale a ferramenta de linha de comando: cargo install spider_cli Escreva um crawler usando Website::new e crawl().await (consulte o exemplo no README)
Onde consigo spider?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/spider-rs/spider

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados