Приоритетный по конкурентности движок для обхода и скрейпинга веб-сайтов на Rust, который рендерит JavaScript только при необходимости.
2,8 тыс.+23 за неделю323RustMITОбновлён вчера
projectdiscovery/katana
Быстрый настраиваемый веб-краулер и фреймворк для веб-сканирования от ProjectDiscovery с обычным и headless-режимами для поиска эндпоинтов.
- Звёзды
- 17,811
- Форки
- 1,218
- Открытые issues
- 21
- Последний коммит
- вчера
Что это?
Katana — это краулер командной строки на Go для поиска URL и эндпоинтов на сайтах. Он работает в двух режимах: обычном, где используется HTTP-клиент Go и анализируются только исходные ответы, и headless-режиме, где управляется Chrome, чтобы также собирать эндпоинты, создаваемые JavaScript и XHR-запросами.
Область сканирования задаётся корневым доменом, полным доменным именем или собственными regex-правилами. Результаты можно выводить в stdout, файл или JSONL, выбирая нужные поля. Данные для сканирования можно передать одним URL, файлом со списком или через stdin — поэтому Katana удобно использовать в связке с такими инструментами, как httpx.
В проекте также есть параметры для поиска эндпоинтов в JavaScript, автоматического заполнения форм, сканирования известных файлов (robots.txt и sitemap.xml), фильтрации похожих URL и страниц, ограничения частоты запросов, а также база знаний на основе машинного обучения для классификации типов страниц и обнаружения секретов или API-эндпоинтов.
Ключевые возможности
- 01Обычный HTTP-краулинг и краулинг в headless-режиме с Chrome
- 02Анализ JavaScript-файлов для поиска эндпоинтов
- 03Ограничение области сканирования по корневому домену, FQDN или regex
- 04Автоматическое заполнение форм и повторное воспроизведение записанных сценариев входа в headless-режиме
- 05Фильтрация похожих URL и страниц для сокращения числа повторных запросов
- 06Вывод в stdout, файлы или JSONL с настраиваемым набором полей
Сценарии использования
- Составление карты поверхности атаки или эндпоинтов веб-приложения при проверке безопасности
- Подготовка списка URL для последующего сканирования в автоматизированном конвейере
- Сканирование одностраничных приложений, использующих контент, формируемый JavaScript
- Сбор структуры сайта с ограничением области сканирования целевым доменом
Быстрый старт
- 1
Установите katana с помощью Go (требуется Go 1.26 или новее)
CGO_ENABLED=1 go install github.com/projectdiscovery/katana/cmd/katana@latest - 2
Просканируйте целевой URL
katana -u https://tesla.com
Что важно знать
- Для установки требуется Go 1.26 или новее.
- Для Headless-режима нужен браузер Chrome, установленный локально или предоставленный вами.
- Несколько функций отмечены как экспериментальные, включая автоматическое заполнение форм и гибридное сканирование в Headless-режиме.
В подборках
Темы
#web-crawler#spider#headless-browser#security-testing#endpoint-discovery#cli#go#crawler#gocrawler#hacktoberfest
Частые вопросы
- Что такое katana?
- Быстрый настраиваемый веб-краулер и фреймворк для веб-сканирования от ProjectDiscovery с обычным и headless-режимами для поиска эндпоинтов. Katana — это краулер командной строки на Go для поиска URL и эндпоинтов на сайтах. Он работает в двух режимах: обычном, где используется HTTP-клиент Go и анализируются только исходные ответы, и headless-режиме, где управляется Chrome, чтобы также собирать эндпоинты, создаваемые JavaScript и XHR-запросами.
- katana можно использовать бесплатно? Какая у него лицензия?
- katana распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- katana всё ещё поддерживается?
- Активно поддерживается. Последний коммит в katana — 6 нояб. 2026 г..
- Для чего можно использовать katana?
- Составление карты поверхности атаки или эндпоинтов веб-приложения при проверке безопасности Подготовка списка URL для последующего сканирования в автоматизированном конвейере Сканирование одностраничных приложений, использующих контент, формируемый JavaScript Сбор структуры сайта с ограничением области сканирования целевым доменом
- Как установить katana?
- Установите katana с помощью Go (требуется Go 1.26 или новее): CGO_ENABLED=1 go install github.com/projectdiscovery/katana/cmd/katana@latest Просканируйте целевой URL: katana -u https://tesla.com
- Где скачать katana?
- Исходный код и инструкции по установке — на GitHub: https://github.com/projectdiscovery/katana
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Go-фреймворк для создания веб-скрейперов и краулеров, извлекающих структурированные данные с сайтов.
25,6 тыс.+8 за неделю1,9 тыс.GoApache-2.0Активно поддерживаетсяОбновлён 22 дня назад
Асинхронный микрофреймворк для веб-скрейпинга на Python, построенный на asyncio и aiohttp и упрощающий обход URL.
1,7 тыс.185PythonApache-2.0Обновлён 9 дней назад
Опенсорсный инструмент для SEO-аудита: сканирует сайт и сообщает о технических проблемах, например битых ссылках, редиректах и отсутствующих или дублирующихся метатегах.
862+15 за неделю146GoMITОбновлён в прошлом месяце
Фреймворк для веб-скрейпинга на Python: от одиночных HTTP-запросов и stealth-браузеров до парсинга и параллельного обхода сайтов с экспортом данных.
99,2 тыс.+8,4 тыс. за неделю10,4 тыс.PythonBSD-3-ClauseОбновлён позавчера
Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API.
87,1 тыс.+403 за неделю9,1 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 3 дня назад