CyberScraper-2077은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

CyberScraper-2077은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

CyberScraper-2077은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. CyberScraper-2077의 마지막 커밋은 2026년 10월 12일입니다.

CyberScraper-2077은(는) 어디에 사용할 수 있나요?

페이지가 나뉜 웹사이트에서 제품 또는 목록 데이터를 가져와 스프레드시트에 정리합니다. 사이트마다 별도의 셀렉터를 작성하지 않고도 웹페이지에서 구조화된 데이터를 추출하는 방식을 시험합니다. 로컬 Ollama 모델로 스크래핑을 실행해 데이터를 자신의 컴퓨터에 보관합니다.

CyberScraper-2077는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/itsOwen/CyberScraper-2077.git 필요한 패키지를 설치합니다: pip install -r requirements.txt Playwright를 설치합니다: playwright install Streamlit 앱을 시작하고 http://localhost:8501 을 엽니다: streamlit run main.py

CyberScraper-2077은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/itsOwen/CyberScraper-2077

itsOwen/CyberScraper-2077

OpenAI, Gemini, Ollama 또는 LiteLLM 모델로 웹페이지 데이터를 추출하는 Streamlit 기반 LLM 웹 스크래퍼입니다.

대체할 수 있는 제품:Browse AI Octoparse

GitHub에서 보기

스타: 3,293
포크: 382
열린 이슈: 1
마지막 커밋: 8일 전

어떤 프로젝트인가요?

CyberScraper 2077은 대규모 언어 모델을 사용해 웹페이지를 구조화된 데이터로 변환하는 웹 스크래퍼입니다. URL을 입력하고 원하는 내용을 자연어로 설명하면, Playwright로 페이지를 가져온 뒤 선택한 모델에 해당하는 내용을 추출하도록 요청합니다. OpenAI, Gemini, Ollama를 통한 로컬 모델, LiteLLM 프록시에서 제공하는 모든 모델을 지원합니다.

프로젝트에는 Streamlit 웹 인터페이스가 포함되어 있으며, Python 3.10+ 환경이나 Docker에서 로컬로 실행할 수 있습니다. 결과는 JSON, CSV, HTML, SQL 또는 Excel로 내보낼 수 있고, CSV 출력은 Google Sheets에 업로드할 수 있습니다. 여러 페이지를 스크래핑할 때는 URL 패턴과 페이지 범위를 지정할 수 있으며, .onion 주소를 위한 Tor 라우팅과 브라우저 창을 통한 선택적 CAPTCHA 처리 기능도 포함되어 있습니다.

작성자는 오픈 소스 로컬 모델을 사용하려면 성능이 충분한 컴퓨터가 필요하고 프롬프트 조정이 필요할 수 있다고 설명하며, 지시를 더 잘 따르도록 하려면 OpenAI 또는 Gemini를 권장합니다.

핵심 기능

01OpenAI, Gemini 또는 Ollama 모델을 통해 자연어 지시대로 웹페이지에서 데이터를 추출합니다.
02LiteLLM 프록시를 지원해 프록시에서 제공하는 모든 모델을 사용할 수 있습니다.
03결과를 JSON, CSV, HTML, SQL 또는 Excel로 내보냅니다.
04CSV 데이터를 Google Sheets에 업로드합니다.
05URL 패턴과 페이지 범위를 사용해 여러 페이지를 스크래핑합니다.
06.onion URL의 요청을 Tor 네트워크로 라우팅합니다.

활용 사례

페이지가 나뉜 웹사이트에서 제품 또는 목록 데이터를 가져와 스프레드시트에 정리합니다.
사이트마다 별도의 셀렉터를 작성하지 않고도 웹페이지에서 구조화된 데이터를 추출하는 방식을 시험합니다.
로컬 Ollama 모델로 스크래핑을 실행해 데이터를 자신의 컴퓨터에 보관합니다.

빠른 시작

1
저장소를 클론합니다
git clone https://github.com/itsOwen/CyberScraper-2077.git
2
필요한 패키지를 설치합니다
pip install -r requirements.txt
3
Playwright를 설치합니다
playwright install
4
Streamlit 앱을 시작하고 http://localhost:8501 을 엽니다
streamlit run main.py

사용 전 알아둘 점

Python 3.10 이상이 필요합니다.
OpenAI 또는 Gemini API 키나 오픈 소스 모델을 위한 로컬 Ollama 설정이 필요합니다.
작성자는 오픈 소스 LLM보다 OpenAI와 Gemini를 권장합니다. 오픈 소스 LLM은 더 느릴 수 있으며 성능이 충분한 시스템이 필요할 수 있습니다.
Captcha 우회 및 현재 브라우저 기능은 Docker에서 작동하지 않으며, Windows 사용자는 Docker를 사용하도록 안내됩니다.

토픽

#web-scraping #llm #openai #gemini-api #ollama #streamlit #playwright #data-extraction #ai-scraping #llm-scraper

자주 묻는 질문

CyberScraper-2077은(는) 무엇인가요?: OpenAI, Gemini, Ollama 또는 LiteLLM 모델로 웹페이지 데이터를 추출하는 Streamlit 기반 LLM 웹 스크래퍼입니다. CyberScraper 2077은 대규모 언어 모델을 사용해 웹페이지를 구조화된 데이터로 변환하는 웹 스크래퍼입니다. URL을 입력하고 원하는 내용을 자연어로 설명하면, Playwright로 페이지를 가져온 뒤 선택한 모델에 해당하는 내용을 추출하도록 요청합니다. OpenAI, Gemini, Ollama를 통한 로컬 모델, LiteLLM 프록시에서 제공하는 모든 모델을 지원합니다.
CyberScraper-2077은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: CyberScraper-2077은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
CyberScraper-2077은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. CyberScraper-2077의 마지막 커밋은 2026년 10월 12일입니다.
CyberScraper-2077은(는) 어디에 사용할 수 있나요?: 페이지가 나뉜 웹사이트에서 제품 또는 목록 데이터를 가져와 스프레드시트에 정리합니다. 사이트마다 별도의 셀렉터를 작성하지 않고도 웹페이지에서 구조화된 데이터를 추출하는 방식을 시험합니다. 로컬 Ollama 모델로 스크래핑을 실행해 데이터를 자신의 컴퓨터에 보관합니다.
CyberScraper-2077는 어떻게 설치하나요?: 저장소를 클론합니다: git clone https://github.com/itsOwen/CyberScraper-2077.git 필요한 패키지를 설치합니다: pip install -r requirements.txt Playwright를 설치합니다: playwright install Streamlit 앱을 시작하고 http://localhost:8501 을 엽니다: streamlit run main.py
CyberScraper-2077은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/itsOwen/CyberScraper-2077

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.