spider-rs/spider

Что это?

Ключевые возможности

• 01Передаёт страницы по мере загрузки, не дожидаясь завершения обхода.
• 02По умолчанию использует HTTP и запускает headless Chrome только для страниц с интенсивным использованием JavaScript.
• 03Позволяет задавать параллелизм, глубину обхода, задержку между запросами и соблюдение robots.txt.
• 04Включает встроенные настройки прокси, повторных попыток, ограничения частоты запросов и режима скрытности.
• 05Предоставляет биндинги для Rust, Node.js и Python, а также CLI и MCP-сервер.

Сценарии использования

• Передача веб-контента в векторные хранилища для конвейеров LLM или RAG.
• Мониторинг изменений SEO-показателей или цен на сайтах.
• Экспорт обойденных страниц в Markdown, JSON или WARC.
• Управление headless Chrome для AI-агентов, работающих с веб-страницами.

Быстрый старт

1. 1

   Добавьте библиотеку Rust в свой проект

   cargo add spider
2. 2

   Или установите инструмент командной строки

   cargo install spider_cli
3. 3

   Напишите краулер с помощью Website::new и crawl().await (см. пример в README)

Что важно знать

• !Для доступа ко всем функциям Spider Cloud требуется бесплатный или платный API-ключ стороннего сервиса.

Темы

Частые вопросы

Что такое spider?

Приоритетный по конкурентности движок для обхода и скрейпинга веб-сайтов на Rust, который рендерит JavaScript только при необходимости. Spider — движок для обхода и скрейпинга веб-сайтов, написанный на Rust. Он передаёт страницы по мере загрузки, по умолчанию использует обычные HTTP-запросы и запускает headless Chrome только для страниц, которым нужен рендеринг JavaScript. Один и тот же API подходит как для отдельного локального скрипта, так и для распределённой системы воркеров.

spider можно использовать бесплатно? Какая у него лицензия?

spider распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

spider всё ещё поддерживается?

Активно поддерживается. Последний коммит в spider — 20 окт. 2026 г..

Для чего можно использовать spider?

Передача веб-контента в векторные хранилища для конвейеров LLM или RAG. Мониторинг изменений SEO-показателей или цен на сайтах. Экспорт обойденных страниц в Markdown, JSON или WARC. Управление headless Chrome для AI-агентов, работающих с веб-страницами.

Как установить spider?

Добавьте библиотеку Rust в свой проект: cargo add spider Или установите инструмент командной строки: cargo install spider_cli Напишите краулер с помощью Website::new и crawl().await (см. пример в README)

Где скачать spider?

Исходный код и инструкции по установке — на GitHub: https://github.com/spider-rs/spider