itsOwen/CyberScraper-2077

Что это?

Ключевые возможности

• 01Извлекает данные с веб-страниц по инструкциям на обычном языке с помощью моделей OpenAI, Gemini или Ollama.
• 02Поддерживает прокси LiteLLM, чтобы использовать любые доступные через них модели.
• 03Экспортирует результаты в JSON, CSV, HTML, SQL или Excel.
• 04Загружает данные из CSV в Google Sheets.
• 05Собирает данные с нескольких страниц по шаблонам URL и диапазонам страниц.
• 06Направляет запросы к URL .onion через сеть Tor.

Сценарии использования

• Сбор данных о товарах или объявлениях с сайтов с постраничной навигацией в таблицу.
• Создание прототипа извлечения структурированных данных со страниц без написания селекторов для каждого сайта.
• Запуск скрейпинга с локальной моделью Ollama, чтобы данные оставались на вашем компьютере.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/itsOwen/CyberScraper-2077.git
2. 2

   Установите необходимые пакеты

   pip install -r requirements.txt
3. 3

   Установите Playwright

   playwright install
4. 4

   Запустите приложение Streamlit и откройте http://localhost:8501

   streamlit run main.py

Что важно знать

• !Требуется Python версии 3.10 или выше.
• !Нужен API-ключ OpenAI или Gemini либо локальная настройка Ollama для моделей с открытым исходным кодом.
• !Автор рекомендует OpenAI и Gemini вместо LLM с открытым исходным кодом: они могут работать медленнее и требовать производительной системы.
• !Обход Captcha и функции текущего браузера не работают в Docker; пользователям Windows рекомендуется использовать Docker.

Темы

Частые вопросы

Что такое CyberScraper-2077?

Веб-скрейпер на базе LLM и Streamlit, извлекающий данные со страниц с помощью моделей OpenAI, Gemini, Ollama или LiteLLM. CyberScraper 2077 — веб-скрейпер, который преобразует веб-страницы в структурированные данные с помощью больших языковых моделей. Укажите URL и опишите обычным языком, что нужно найти: инструмент загрузит страницу через Playwright и попросит выбранную модель извлечь нужные данные. Поддерживаются OpenAI, Gemini, локальные модели через Ollama и любые модели, доступные через прокси LiteLLM.

CyberScraper-2077 можно использовать бесплатно? Какая у него лицензия?

CyberScraper-2077 распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

CyberScraper-2077 всё ещё поддерживается?

Активно поддерживается. Последний коммит в CyberScraper-2077 — 12 окт. 2026 г..

Для чего можно использовать CyberScraper-2077?

Сбор данных о товарах или объявлениях с сайтов с постраничной навигацией в таблицу. Создание прототипа извлечения структурированных данных со страниц без написания селекторов для каждого сайта. Запуск скрейпинга с локальной моделью Ollama, чтобы данные оставались на вашем компьютере.

Как установить CyberScraper-2077?

Клонируйте репозиторий: git clone https://github.com/itsOwen/CyberScraper-2077.git Установите необходимые пакеты: pip install -r requirements.txt Установите Playwright: playwright install Запустите приложение Streamlit и откройте http://localhost:8501: streamlit run main.py

Где скачать CyberScraper-2077?

Исходный код и инструкции по установке — на GitHub: https://github.com/itsOwen/CyberScraper-2077