apify/crawlee-python

Что это?

Ключевые возможности

• 01Единый интерфейс для краулинга по HTTP и с помощью headless-браузера.
• 02Автоматический параллельный краулинг с учётом доступных системных ресурсов.
• 03Автоматические повторные попытки, встроенная ротация прокси и управление сессиями.
• 04Постоянная очередь URL и подключаемое хранилище табличных данных и файлов.
• 05Маршрутизация запросов, направляющая URL конкретным обработчикам.

Сценарии использования

• Извлечение структурированных данных о товарах или статьях с сайтов и сохранение их в датасеты.
• Сбор веб-контента, например HTML-страниц или PDF-файлов, для конвейеров AI, LLM или RAG.
• Автоматизация скрейпинга сайтов с активным использованием JavaScript с помощью Playwright.
• Запуск длительного краулинга с возможностью возобновления после прерываний.

Быстрый старт

1. 1

   Установите Crawlee со всеми функциями с помощью pip

   python -m pip install 'crawlee[all]'
2. 2

   Установите зависимости браузера Playwright

   playwright install
3. 3

   Проверьте установку, выведя версию

   python -c 'import crawlee; print(crawlee.__version__)'

Что важно знать

• !Для полноценного сбора данных через браузер необходимо отдельно установить зависимости браузера Playwright.

Темы

Частые вопросы

Что такое crawlee-python?

Библиотека Python для надёжного веб-краулинга и скрейпинга с поддержкой HTTP и headless-браузеров, ротацией прокси и постоянным хранилищем. Crawlee — библиотека Python для веб-скрейпинга и автоматизации браузера. Она берёт на себя техническую сторону краулинга: находит ссылки, ставит URL в очередь, выполняет запросы параллельно, повторяет попытки загрузить страницы при сбоях и сохраняет извлечённые данные в машиночитаемых форматах. Благодаря этому разработчики могут сосредоточиться на логике извлечения данных.

crawlee-python можно использовать бесплатно? Какая у него лицензия?

crawlee-python распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

crawlee-python всё ещё поддерживается?

Активно поддерживается. Последний коммит в crawlee-python — 6 нояб. 2026 г..

Для чего можно использовать crawlee-python?

Извлечение структурированных данных о товарах или статьях с сайтов и сохранение их в датасеты. Сбор веб-контента, например HTML-страниц или PDF-файлов, для конвейеров AI, LLM или RAG. Автоматизация скрейпинга сайтов с активным использованием JavaScript с помощью Playwright. Запуск длительного краулинга с возможностью возобновления после прерываний.

Как установить crawlee-python?

Установите Crawlee со всеми функциями с помощью pip: python -m pip install 'crawlee[all]' Установите зависимости браузера Playwright: playwright install Проверьте установку, выведя версию: python -c 'import crawlee; print(crawlee.__version__)'

Где скачать crawlee-python?

Исходный код и инструкции по установке — на GitHub: https://github.com/apify/crawlee-python