Repolode
alirezamika

alirezamika/autoscraper

Python-библиотека для веб-скрейпинга: учится извлекать данные по примерам и применяет найденные правила к похожим или новым страницам.

Звёзды
8,076
Форки
831
Открытые issues
2
Последний коммит
3 месяца назад

Что это?

AutoScraper — библиотека Python, которая извлекает данные с веб-страниц без ручного написания селекторов. Ей можно передать URL или HTML-код и список примеров нужных значений — например, текста, ссылок или значений из определённых HTML-тегов. Библиотека находит правила для этих элементов и возвращает похожие данные со страницы.

Созданный объект скрейпера можно сохранить на диск, а позже загрузить. Он сможет извлекать похожий контент с других страниц той же структуры или находить на новых URL точно такие же элементы, в том же порядке, в каком были указаны примеры. Параметры для requests, например прокси и пользовательские заголовки, можно передать в соответствующие вызовы requests.

Библиотека предназначена для Python 3. Её можно установить из PyPI или напрямую из Git-репозитория.

Ключевые возможности

  • 01Находит правила для скрейпинга по нескольким примерам вместо ручного задания селекторов.
  • 02Извлекает текст, URL-адреса или значения из конкретных HTML-тегов.
  • 03Находит похожие элементы на других страницах той же структуры.
  • 04Сохраняет и загружает обученные модели скрейпера.
  • 05Передаёт пользовательские параметры requests, например прокси и заголовки.

Сценарии использования

  • Извлечение заголовков или цен со страниц, у которых одинаковая структура.
  • Превращение сайта в простой API с помощью сохранённого скрейпера, подключённого к веб-фреймворку.
  • Быстрое создание прототипа скрейпера без написания CSS- или XPath-селекторов.

Быстрый старт

  1. 1

    Установите библиотеку из PyPI

    pip install autoscraper
  2. 2

    Импортируйте AutoScraper, создайте скрейпер на основе URL и примеров данных, а затем получите похожие результаты

Что важно знать

  • Выученные правила могут перестать работать, если структура HTML страницы изменится.
  • В README не описана обработка JavaScript, поэтому динамически загружаемый контент может не извлекаться.

Темы

Частые вопросы

Что такое autoscraper?
Python-библиотека для веб-скрейпинга: учится извлекать данные по примерам и применяет найденные правила к похожим или новым страницам. AutoScraper — библиотека Python, которая извлекает данные с веб-страниц без ручного написания селекторов. Ей можно передать URL или HTML-код и список примеров нужных значений — например, текста, ссылок или значений из определённых HTML-тегов. Библиотека находит правила для этих элементов и возвращает похожие данные со страницы.
autoscraper можно использовать бесплатно? Какая у него лицензия?
autoscraper распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
autoscraper всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в autoscraper — 29 июл. 2026 г..
Для чего можно использовать autoscraper?
Извлечение заголовков или цен со страниц, у которых одинаковая структура. Превращение сайта в простой API с помощью сохранённого скрейпера, подключённого к веб-фреймворку. Быстрое создание прототипа скрейпера без написания CSS- или XPath-селекторов.
Как установить autoscraper?
Установите библиотеку из PyPI: pip install autoscraper Импортируйте AutoScraper, создайте скрейпер на основе URL и примеров данных, а затем получите похожие результаты
Где скачать autoscraper?
Исходный код и инструкции по установке — на GitHub: https://github.com/alirezamika/autoscraper

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Библиотека для Python 3, которая загружает новостные статьи и извлекает из них текст, авторов, дату публикации, изображения, ключевые слова и краткое содержание.

15,2 тыс.2,1 тыс.PythonMITОбновлён 12 дней назад

Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API.

87,1 тыс.+403 за неделю9,1 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 3 дня назад

Платформа с открытым исходным кодом, которая превращает сайты в структурированные API для скрейпинга, краулинга, поиска, мониторинга и извлечения данных с помощью ИИ.

18,2 тыс.+49 за неделю1,6 тыс.TypeScriptAGPL-3.0Обновлён 5 часов назад