ScrapeGraphAI/Scrapegraph-ai

Что это?

Ключевые возможности

• 01Извлекает данные со страницы по запросу на обычном языке вместо CSS- или XPath-селекторов.
• 02Поддерживает сайты и локальные файлы, такие как XML, HTML, JSON и Markdown.
• 03Предлагает пайплайны для одной страницы, нескольких страниц и результатов поиска.
• 04Работает с OpenAI, Groq, Azure, Gemini и локальными моделями через Ollama.
• 05Может создавать аудиовывод или скрипты Python на основе собранного содержимого.

Сценарии использования

• Сбор сведений о компаниях, их основателях и контактных ссылок с множества сайтов без написания парсеров.
• Сбор структурированных данных со страниц, макет которых часто меняется.
• Передача веб-контента в пайплайны LLM или RAG в структурированном виде.
• Приватное извлечение данных с помощью локальной модели через Ollama.

Быстрый старт

1. 1

   Установите библиотеку из PyPI

   pip install scrapegraphai
2. 2

   Установите браузеры Playwright для загрузки веб-сайтов

   playwright install
3. 3

   Настройте LLM (например, ключ OpenAI или локальный Ollama) и запустите SmartScraperGraph, указав промпт и исходный URL

Что важно знать

• !Вам нужно самостоятельно предоставить LLM и оплачивать его использование (ключ API или локальная модель через Ollama).
• !При самостоятельном хостинге вам потребуется самостоятельно управлять браузерами, прокси и масштабированием.
• !Для загрузки веб-сайтов требуется дополнительная установка браузеров Playwright.

Темы

Частые вопросы

Что такое Scrapegraph-ai?

Библиотека Python, которая использует LLM и графовые пайплайны для извлечения структурированных данных с сайтов и из локальных документов по запросу на естественном языке. ScrapeGraphAI — библиотека Python для веб-скрейпинга, которая заменяет написание селекторов запросом на естественном языке. Вы описываете, какие данные нужны, а библиотека запускает пайплайн: загружает веб-страницу или локальный файл (XML, HTML, JSON, Markdown и другие форматы) и с помощью большой языковой модели возвращает извлечённые данные в виде словаря.

Scrapegraph-ai можно использовать бесплатно? Какая у него лицензия?

Scrapegraph-ai распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Scrapegraph-ai всё ещё поддерживается?

Активно поддерживается. Последний коммит в Scrapegraph-ai — 6 окт. 2026 г..

Для чего можно использовать Scrapegraph-ai?

Сбор сведений о компаниях, их основателях и контактных ссылок с множества сайтов без написания парсеров. Сбор структурированных данных со страниц, макет которых часто меняется. Передача веб-контента в пайплайны LLM или RAG в структурированном виде. Приватное извлечение данных с помощью локальной модели через Ollama.

Как установить Scrapegraph-ai?

Установите библиотеку из PyPI: pip install scrapegraphai Установите браузеры Playwright для загрузки веб-сайтов: playwright install Настройте LLM (например, ключ OpenAI или локальный Ollama) и запустите SmartScraperGraph, указав промпт и исходный URL

Где скачать Scrapegraph-ai?

Исходный код и инструкции по установке — на GitHub: https://github.com/ScrapeGraphAI/Scrapegraph-ai