unclecode/crawl4ai

Что это?

Ключевые возможности

• 01Преобразует страницы в чистый Markdown с фильтрацией fit-Markdown и нумерованными ссылками-цитатами.
• 02Извлекает структурированный JSON по CSS/XPath-схемам или с помощью любого провайдера LLM.
• 03Выполняет глубокий обход сайта по стратегиям BFS, DFS и best-first; обход можно возобновить.
• 04Управляет Chromium, Firefox и WebKit с поддержкой прокси, сессий, cookies и режима stealth.
• 05Создаёт скриншоты и PDF, обрабатывает бесконечную прокрутку и страницы с большим количеством JavaScript.
• 06Доступен как библиотека Python, CLI crwl и Docker REST API с поддержкой MCP.

Сценарии использования

• Передача веб-контента в индекс RAG или промпт LLM в формате Markdown.
• Извлечение данных о товарах, ценах или объявлениях в JSON без написания отдельных парсеров для каждого сайта.
• Массовый обход сайтов с документацией или целых доменов для создания датасетов.
• Предоставление AI-агенту доступа к вебу через интерфейс MCP.

Быстрый старт

1. 1

   Установите пакет из PyPI

   pip install -U crawl4ai
2. 2

   Установите браузер

   crawl4ai-setup
3. 3

   Запустите пример на Python, который выводит страницу в формате Markdown

Что важно знать

• !Для работы всех функций нужна среда Python с установленным браузером, что усложняет настройку.
• !Для извлечения данных с помощью LLM потребуется собственный ключ провайдера LLM или тариф с хостингом.

Темы

Частые вопросы

Что такое crawl4ai?

Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API. Crawl4AI — открытый веб-краулер и скрейпер для LLM, RAG-пайплайнов и AI-агентов. Он загружает страницы в настоящем браузере и преобразует их в чистый Markdown, удаляя меню, футеры и прочий шаблонный контент, а также добавляет списки ссылок в формате цитат.

crawl4ai можно использовать бесплатно? Какая у него лицензия?

crawl4ai распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

crawl4ai всё ещё поддерживается?

Активно поддерживается. Последний коммит в crawl4ai — 19 окт. 2026 г..

Для чего можно использовать crawl4ai?

Передача веб-контента в индекс RAG или промпт LLM в формате Markdown. Извлечение данных о товарах, ценах или объявлениях в JSON без написания отдельных парсеров для каждого сайта. Массовый обход сайтов с документацией или целых доменов для создания датасетов. Предоставление AI-агенту доступа к вебу через интерфейс MCP.

Как установить crawl4ai?

Установите пакет из PyPI: pip install -U crawl4ai Установите браузер: crawl4ai-setup Запустите пример на Python, который выводит страницу в формате Markdown

Где скачать crawl4ai?

Исходный код и инструкции по установке — на GitHub: https://github.com/unclecode/crawl4ai