Веб-краулер и движок извлечения данных на Rust, который преобразует сайты, PDF и файлы Office в чистый Markdown и структурированные данные для AI-агентов и RAG-пайплайнов.
Open source альтернатива:Firecrawl
Jina Reader
PageSift — движок веб-скрейпинга и извлечения контента на Rust, предназначенный для подачи данных AI-агентам и в пайплайны LLM. Он загружает страницу по URL или переданный файл и преобразует основное содержимое в Markdown или структурированные данные. Поддерживаются HTML-страницы, PDF, Word, Excel, PowerPoint, EPUB и CSV; также можно обходить целые сайты, соблюдая адаптивные интервалы между запросами и ограничения частоты запросов для каждого хоста. Безголовый браузер используется только в тех случаях, когда для отображения содержимого странице нужен JavaScript.
Проект поставляется в виде единого бинарного файла с CLI, сервером Docker, а также пакетами для Python и Node.js. Его HTTP API совместим с Firecrawl v1/v2 и предоставляет эндпоинт `/r/` в стиле Jina Reader, поэтому существующий клиентский код Firecrawl можно направить на локальный экземпляр. PageSift также работает как общий MCP-сервер для агентов и может записывать сведения о каждом запросе в файл аудита.
Движок рассчитан на работу с ограниченным объёмом памяти: размер очередей ограничен, а лимиты памяти cgroup учитываются при настройке параллелизма. Для целевого обхода можно задать запрос — ссылки будут ранжироваться по релевантности ему. Встроены поддержка robots.txt и защита от SSRF-запросов к частным диапазонам IP-адресов. Проект распространяется по лицензии AGPL-3.0; также доступна коммерческая лицензия.
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API.
API для AI-агентов: поиск по вебу, скрейпинг и взаимодействие с веб-страницами с выдачей чистого Markdown, JSON и скриншотов.
Локальные инструменты для веб-поиска, загрузки страниц, обхода сайтов и исследований для AI-агентов через MCP — без API-ключей и платы за запросы.
Python-библиотека, которая преобразует HTML веб-страниц в текст для LLM, сохраняя ссылки и таблицы для RAG и веб-скрейпинга.
MCP-сервер, который предоставляет AI-агентам поиск в интернете, сбор страниц, извлечение структурированных данных и удалённую автоматизацию браузера через Bright Data.
Библиотека для веб-скрейпинга на Python: извлекает структурированные данные с сайтов и из локальных документов с помощью LLM и графовых пайплайнов по текстовому запросу.