Open source проекты по теме «crawler»

Расширение Chrome определяет системы защиты от ботов, CAPTCHA и методы снятия цифровых отпечатков браузера, показывая уровень уверенности.

Открытая платформа для сбора веб-данных, которая превращает любой сайт в структурированный API с помощью скрейпинга, краулинга, поиска, мониторинга и извлечения данных с помощью AI.

Веб-краулер с открытым исходным кодом на Python: превращает сайты в чистый Markdown, готовый для LLM, RAG, AI-агентов и конвейеров данных.