D4Vinci/Scrapling

어떤 프로젝트인가요?

핵심 기능

• 01일반 HTTP 요청, 스텔스 브라우저, 프록시 로테이션을 지원하는 지속형 세션용 페처입니다.
• 02도메인별 요청 속도 제한, AutoThrottle, robots.txt 지원, 재시도 기능을 갖춘 동시 실행 스파이더입니다.
• 03체크포인트 디렉터리를 사용해 장시간 크롤링을 일시 중지했다가 재개합니다.
• 04적응형 요소 추적 기능과 함께 CSS, XPath, 텍스트, 정규식 및 유사 요소를 기준으로 선택합니다.
• 05결과를 JSON, JSONL, CSV 또는 XML로 내보냅니다.
• 06AI 에이전트와 터미널에서 사용할 수 있는 MCP 서버, Agent Skill, CLI를 제공합니다.

활용 사례

• Python 스크립트에서 정적 페이지나 JavaScript로 렌더링된 페이지의 필드 몇 개를 추출합니다.
• 일시 중지와 재개, 구조화된 내보내기를 지원하는 대규모 웹사이트 크롤링을 실행합니다.
• AI 에이전트가 MCP를 통해 페이지를 탐색하고 데이터를 추출하도록 합니다.
• 검색 증강 생성에 사용할 웹 페이지를 Markdown 코퍼스로 변환합니다.

빠른 시작

1. 1

   README의 설치 안내를 읽으세요

2. 2

   README의 Fetcher 예제를 사용해 페이지 하나를 가져오세요

토픽

자주 묻는 질문

Scrapling은(는) 무엇인가요?

단일 HTTP 요청부터 스텔스 브라우저, 파싱, 동시 크롤링과 내보내기까지 지원하는 Python 웹 스크래핑 프레임워크입니다. Scrapling은 빠른 HTTP 요청, 스텔스 브라우저, CSS·XPath·텍스트 선택을 지원하는 파서, 동시 실행 스파이더 엔진을 하나로 묶은 Python 웹 스크래핑 프레임워크입니다. 정적 페이지를 가져오고, JavaScript를 렌더링하고, 사이트와 상호작용하며, 사이트의 기반이 되는 API 호출을 캡처할 수 있습니다.

Scrapling은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Scrapling은(는) BSD-3-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Scrapling은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Scrapling의 마지막 커밋은 2026년 10월 19일입니다.

Scrapling은(는) 어디에 사용할 수 있나요?

Python 스크립트에서 정적 페이지나 JavaScript로 렌더링된 페이지의 필드 몇 개를 추출합니다. 일시 중지와 재개, 구조화된 내보내기를 지원하는 대규모 웹사이트 크롤링을 실행합니다. AI 에이전트가 MCP를 통해 페이지를 탐색하고 데이터를 추출하도록 합니다. 검색 증강 생성에 사용할 웹 페이지를 Markdown 코퍼스로 변환합니다.

Scrapling는 어떻게 설치하나요?

README의 설치 안내를 읽으세요 README의 Fetcher 예제를 사용해 페이지 하나를 가져오세요

Scrapling은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/D4Vinci/Scrapling