ScrapeGraphAI/Scrapegraph-ai

어떤 프로젝트인가요?

핵심 기능

• 01CSS 또는 XPath 셀렉터 대신 일반 언어 프롬프트를 사용해 페이지에서 데이터를 추출합니다.
• 02XML, HTML, JSON, Markdown 등의 웹사이트와 로컬 파일을 지원합니다.
• 03단일 페이지, 여러 페이지, 검색 결과를 처리하는 파이프라인을 제공합니다.
• 04OpenAI, Groq, Azure, Gemini 및 Ollama를 통한 로컬 모델을 지원합니다.
• 05스크래핑한 콘텐츠에서 오디오 출력이나 Python 스크립트를 생성할 수 있습니다.

활용 사례

• 파서를 작성하지 않고 여러 웹사이트에서 회사 정보, 창업자 또는 연락처 링크를 가져옵니다.
• 레이아웃이 자주 바뀌는 페이지에서 구조화된 데이터를 수집합니다.
• 웹 콘텐츠를 구조화된 형식으로 LLM 또는 RAG 파이프라인에 전달합니다.
• Ollama를 통해 로컬 모델로 비공개 데이터 추출을 실행합니다.

빠른 시작

1. 1

   PyPI에서 라이브러리를 설치합니다

   pip install scrapegraphai
2. 2

   웹사이트를 가져오기 위해 Playwright 브라우저를 설치합니다

   playwright install
3. 3

   LLM(예: OpenAI 키 또는 로컬 Ollama)을 구성하고 프롬프트와 소스 URL을 지정해 SmartScraperGraph를 실행합니다

사용 전 알아둘 점

• !LLM(API 키 또는 Ollama를 통한 로컬 모델)을 직접 준비하고 비용을 부담해야 합니다.
• !셀프 호스팅 시 브라우저, 프록시, 확장을 직접 관리해야 합니다.
• !웹사이트를 가져오려면 추가 단계로 Playwright 브라우저를 설치해야 합니다.

토픽

자주 묻는 질문

Scrapegraph-ai은(는) 무엇인가요?

LLM과 그래프 기반 파이프라인으로 자연어 프롬프트에 따라 웹사이트와 로컬 문서에서 구조화된 데이터를 추출하는 Python 라이브러리입니다. ScrapeGraphAI는 직접 작성한 셀렉터 대신 자연어 프롬프트를 사용하는 Python 웹 스크래핑 라이브러리입니다. 원하는 정보를 설명하면 라이브러리가 페이지나 로컬 파일(XML, HTML, JSON, Markdown 등)을 가져오는 파이프라인을 실행하고, 대규모 언어 모델을 사용해 추출한 데이터를 딕셔너리로 반환합니다.

Scrapegraph-ai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Scrapegraph-ai은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Scrapegraph-ai은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Scrapegraph-ai의 마지막 커밋은 2026년 10월 6일입니다.

Scrapegraph-ai은(는) 어디에 사용할 수 있나요?

파서를 작성하지 않고 여러 웹사이트에서 회사 정보, 창업자 또는 연락처 링크를 가져옵니다. 레이아웃이 자주 바뀌는 페이지에서 구조화된 데이터를 수집합니다. 웹 콘텐츠를 구조화된 형식으로 LLM 또는 RAG 파이프라인에 전달합니다. Ollama를 통해 로컬 모델로 비공개 데이터 추출을 실행합니다.

Scrapegraph-ai는 어떻게 설치하나요?

PyPI에서 라이브러리를 설치합니다: pip install scrapegraphai 웹사이트를 가져오기 위해 Playwright 브라우저를 설치합니다: playwright install LLM(예: OpenAI 키 또는 로컬 Ollama)을 구성하고 프롬프트와 소스 URL을 지정해 SmartScraperGraph를 실행합니다

Scrapegraph-ai은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ScrapeGraphAI/Scrapegraph-ai