Repolode
Предложить
D4Vinci

D4Vinci/Scrapling

Фреймворк для веб-скрейпинга на Python: от одиночных HTTP-запросов и stealth-браузеров до парсинга и параллельного обхода сайтов с экспортом данных.

Открыть на GitHubСайт
Звёзды
88,646
Форки
9,146
Открытые issues
9
Последний коммит
4 часа назад

Что это?

Scrapling — фреймворк для веб-скрейпинга на Python, который объединяет быстрые HTTP-запросы, stealth-браузеры, парсер с поддержкой CSS, XPath и поиска по тексту, а также движок для параллельного обхода сайтов. Он умеет загружать статические страницы, отображать JavaScript, взаимодействовать с сайтами и перехватывать лежащие в их основе API-вызовы.

Для более масштабных задач в Scrapling есть API Spider, похожий на Scrapy: он поддерживает ограничение частоты запросов для каждого домена, ротацию прокси, повторные попытки, приостановку и возобновление обхода с помощью каталога контрольных точек, потоковый вывод и экспорт в JSON, JSONL, CSV и XML. Встроенные шаблоны предназначены для работы с sitemap, лентами, перехода по ссылкам и обхода магазинов на Shopify.

Scrapling также можно использовать из терминала через CLI и интерактивную оболочку, а AI-агенты могут обращаться к нему через MCP-сервер и устанавливаемый Agent Skill. Кроме того, он преобразует страницы в Markdown для использования в RAG-пайплайнах.

Ключевые возможности

  • 01Загрузчики для обычных HTTP-запросов, stealth-браузеров и постоянных сессий с ротацией прокси.
  • 02Параллельные пауки с ограничением частоты запросов для каждого домена, AutoThrottle, поддержкой robots.txt и повторными попытками.
  • 03Приостановка и возобновление длительного обхода сайта с помощью каталога контрольных точек.
  • 04Выбор элементов по CSS, XPath, тексту и регулярным выражениям, поиск похожих элементов и адаптивное отслеживание элементов.
  • 05Экспорт результатов в JSON, JSONL, CSV или XML.
  • 06MCP-сервер, Agent Skill и CLI для работы из AI-агентов и терминала.

Сценарии использования

  • Извлечение нескольких полей со статической страницы или страницы с отрисованным JavaScript в скрипте на Python.
  • Параллельный обход крупного сайта с возможностью приостанавливать и возобновлять работу и экспортировать данные в структурированном виде.
  • Доступ AI-агента к страницам и извлечение данных через MCP.
  • Преобразование веб-страниц в корпуса Markdown для генерации с дополненной поиском выдачей.

Быстрый старт

  1. 1

    Прочитайте инструкции по установке в README

  2. 2

    Получите одну страницу с помощью примера Fetcher из README

Темы

#web-scraping#crawler#python#headless-browser#data-extraction#mcp#parsing#proxy#ai#ai-scraping

Частые вопросы

Что такое Scrapling?
Фреймворк для веб-скрейпинга на Python: от одиночных HTTP-запросов и stealth-браузеров до парсинга и параллельного обхода сайтов с экспортом данных. Scrapling — фреймворк для веб-скрейпинга на Python, который объединяет быстрые HTTP-запросы, stealth-браузеры, парсер с поддержкой CSS, XPath и поиска по тексту, а также движок для параллельного обхода сайтов. Он умеет загружать статические страницы, отображать JavaScript, взаимодействовать с сайтами и перехватывать лежащие в их основе API-вызовы.
Scrapling можно использовать бесплатно? Какая у него лицензия?
Scrapling распространяется с открытым исходным кодом под лицензией BSD-3-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Scrapling всё ещё поддерживается?
Активно поддерживается. Последний коммит в Scrapling — 19 окт. 2026 г..
Для чего можно использовать Scrapling?
Извлечение нескольких полей со статической страницы или страницы с отрисованным JavaScript в скрипте на Python. Параллельный обход крупного сайта с возможностью приостанавливать и возобновлять работу и экспортировать данные в структурированном виде. Доступ AI-агента к страницам и извлечение данных через MCP. Преобразование веб-страниц в корпуса Markdown для генерации с дополненной поиском выдачей.
Как установить Scrapling?
Прочитайте инструкции по установке в README Получите одну страницу с помощью примера Fetcher из README
Где скачать Scrapling?
Исходный код и инструкции по установке — на GitHub: https://github.com/D4Vinci/Scrapling

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты