YOLOW92/pagesift

O que é?

Recursos principais

• 01Converte HTML, PDF, Word, Excel, PowerPoint, EPUB e CSV em Markdown ou dados estruturados.
• 02Oferece APIs compatíveis com Firecrawl v1/v2 e um endpoint no estilo do Jina Reader.
• 03Inclui SDKs para Python e Node.js, além de uma CLI e uma imagem Docker.
• 04Renderiza páginas com JavaScript em um navegador headless somente quando necessário.
• 05Pode ser executado como um servidor MCP compartilhado, com um registro de auditoria das buscas.
• 06Mantém o uso de memória limitado ao definir capacidade máxima para as filas e ler os limites do cgroup.

Casos de uso

• Criar uma base de conhecimento para RAG a partir de sites e documentos internos.
• Fornecer aos agentes de LLM uma ferramenta para buscar conteúdo limpo de páginas.
• Substituir uma dependência hospedada do Firecrawl ou Jina Reader por um serviço autogerenciado.
• Converter PDFs e arquivos do Office em lote para Markdown, para indexação.

Antes de usar

• !É licenciado sob a AGPL-3.0, uma licença copyleft que exige o compartilhamento do código-fonte quando o software é usado pela rede.
• !Alguns benchmarks mostram que ele fica atrás de concorrentes, como o spider, nos tempos de A2 replay e fast crawl.
• !Os números de throughput de 200 milhões de requisições vêm de uma origem local sintética, sem rede, portanto não representam velocidades reais da Internet.

Em coleções

Tópicos

Perguntas frequentes

O que é pagesift?

Crawler e mecanismo de extração web em Rust que transforma sites, PDFs e arquivos do Office em Markdown limpo e dados estruturados para agentes de IA e pipelines de RAG. PageSift é um mecanismo de scraping e extração de conteúdo web escrito em Rust, voltado a alimentar agentes de IA e pipelines de LLM. Ele busca uma URL ou arquivo enviado e converte o conteúdo principal em Markdown ou dados estruturados. Dá suporte a páginas HTML, PDF, Word, Excel, PowerPoint, EPUB e CSV, e pode rastrear sites inteiros com controle adaptativo de frequência e limites de requisições por host. A renderização com navegador headless só é usada quando uma página precisa de JavaScript para exibir seu conteúdo.

pagesift é gratuito? Qual é a licença?

pagesift é open source sob a licença AGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

pagesift ainda é mantido?

Manutenção ativa. O último commit de pagesift foi em 7 de nov. de 2026.

Para que posso usar pagesift?

Criar uma base de conhecimento para RAG a partir de sites e documentos internos. Fornecer aos agentes de LLM uma ferramenta para buscar conteúdo limpo de páginas. Substituir uma dependência hospedada do Firecrawl ou Jina Reader por um serviço autogerenciado. Converter PDFs e arquivos do Office em lote para Markdown, para indexação.

Onde consigo pagesift?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/YOLOW92/pagesift