Go-фреймворк для создания веб-скрейперов и краулеров, извлекающих структурированные данные с сайтов.
alirezamika/autoscraper
Python-библиотека для веб-скрейпинга: учится извлекать данные по примерам и применяет найденные правила к похожим или новым страницам.
- Звёзды
- 8,076
- Форки
- 831
- Открытые issues
- 2
- Последний коммит
- 3 месяца назад
Что это?
AutoScraper — библиотека Python, которая извлекает данные с веб-страниц без ручного написания селекторов. Ей можно передать URL или HTML-код и список примеров нужных значений — например, текста, ссылок или значений из определённых HTML-тегов. Библиотека находит правила для этих элементов и возвращает похожие данные со страницы.
Созданный объект скрейпера можно сохранить на диск, а позже загрузить. Он сможет извлекать похожий контент с других страниц той же структуры или находить на новых URL точно такие же элементы, в том же порядке, в каком были указаны примеры. Параметры для requests, например прокси и пользовательские заголовки, можно передать в соответствующие вызовы requests.
Библиотека предназначена для Python 3. Её можно установить из PyPI или напрямую из Git-репозитория.
Ключевые возможности
- 01Находит правила для скрейпинга по нескольким примерам вместо ручного задания селекторов.
- 02Извлекает текст, URL-адреса или значения из конкретных HTML-тегов.
- 03Находит похожие элементы на других страницах той же структуры.
- 04Сохраняет и загружает обученные модели скрейпера.
- 05Передаёт пользовательские параметры requests, например прокси и заголовки.
Сценарии использования
- Извлечение заголовков или цен со страниц, у которых одинаковая структура.
- Превращение сайта в простой API с помощью сохранённого скрейпера, подключённого к веб-фреймворку.
- Быстрое создание прототипа скрейпера без написания CSS- или XPath-селекторов.
Быстрый старт
- 1
Установите библиотеку из PyPI
pip install autoscraper - 2
Импортируйте AutoScraper, создайте скрейпер на основе URL и примеров данных, а затем получите похожие результаты
Что важно знать
- Выученные правила могут перестать работать, если структура HTML страницы изменится.
- В README не описана обработка JavaScript, поэтому динамически загружаемый контент может не извлекаться.
Темы
Частые вопросы
- Что такое autoscraper?
- Python-библиотека для веб-скрейпинга: учится извлекать данные по примерам и применяет найденные правила к похожим или новым страницам. AutoScraper — библиотека Python, которая извлекает данные с веб-страниц без ручного написания селекторов. Ей можно передать URL или HTML-код и список примеров нужных значений — например, текста, ссылок или значений из определённых HTML-тегов. Библиотека находит правила для этих элементов и возвращает похожие данные со страницы.
- autoscraper можно использовать бесплатно? Какая у него лицензия?
- autoscraper распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- autoscraper всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в autoscraper — 29 июл. 2026 г..
- Для чего можно использовать autoscraper?
- Извлечение заголовков или цен со страниц, у которых одинаковая структура. Превращение сайта в простой API с помощью сохранённого скрейпера, подключённого к веб-фреймворку. Быстрое создание прототипа скрейпера без написания CSS- или XPath-селекторов.
- Как установить autoscraper?
- Установите библиотеку из PyPI: pip install autoscraper Импортируйте AutoScraper, создайте скрейпер на основе URL и примеров данных, а затем получите похожие результаты
- Где скачать autoscraper?
- Исходный код и инструкции по установке — на GitHub: https://github.com/alirezamika/autoscraper
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Фреймворк для веб-скрейпинга на Python: от одиночных HTTP-запросов и stealth-браузеров до парсинга и параллельного обхода сайтов с экспортом данных.
Библиотека для Python 3, которая загружает новостные статьи и извлекает из них текст, авторов, дату публикации, изображения, ключевые слова и краткое содержание.
Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API.
Scrapy — фреймворк на Python для веб-скрейпинга и краулинга, который извлекает структурированные данные с сайтов.
Платформа с открытым исходным кодом, которая превращает сайты в структурированные API для скрейпинга, краулинга, поиска, мониторинга и извлечения данных с помощью ИИ.