Open source проекты по теме «web-scraping»

Расширение Chrome определяет системы защиты от ботов, CAPTCHA и методы снятия цифровых отпечатков браузера, показывая уровень уверенности.

Платформа для автоматизации браузера: превращает записанные действия в команды MCP или Claude Skills, чтобы AI-агенты могли управлять браузером напрямую.

Python-фреймворк для веб-скрейпинга с обходом систем обнаружения ботов, поддержкой браузерных и HTTP-запросов, генерацией UI и созданием настольных приложений.

Лёгкий Python-пакет для поиска новостей Google News и получения результатов в формате JSON с возможностью извлекать полный текст статей.

Анализирует любой сайт с помощью Playwright и извлекает его дизайн-систему — цвета, типографику, отступы и компоненты — для экспорта в Tailwind, React, токены или Markdown.

Открытая платформа для сбора веб-данных, которая превращает любой сайт в структурированный API с помощью скрейпинга, краулинга, поиска, мониторинга и извлечения данных с помощью AI.

Браузер для AI-агентов: они выполняют автоматизацию в изолированных Spaces, пока вы работаете со своими вкладками и аккаунтами.

Инструмент извлекает переиспользуемые шаблоны оформления из статей WeChat Official Account и показывает их в виде форматированного текста, готового к вставке в редактор WeChat.

Инструмент на Python с WebUI и CLI для пакетной загрузки электронных учебников PEP (People's Education Press) и объединения страниц в PDF.

Самостоятельно размещаемый инструмент для отслеживания изменений содержимого, цен и наличия товаров на веб-страницах и отправки уведомлений разными каналами.

Консольная утилита на Rust, которая одной командой получает данные с десятков сайтов, включая Bilibili, Reddit и Hacker News.

Веб-краулер с открытым исходным кодом на Python: превращает сайты в чистый Markdown, готовый для LLM, RAG, AI-агентов и конвейеров данных.