apify/crawlee-python

어떤 프로젝트인가요?

핵심 기능

• 01HTTP 및 헤드리스 브라우저 크롤링을 위한 통일된 인터페이스.
• 02사용 가능한 시스템 리소스에 맞춰 크롤링을 자동으로 병렬 처리.
• 03자동 재시도와 세션 관리가 통합된 프록시 로테이션.
• 04영구 URL 대기열과 표 형식 데이터 및 파일을 위한 플러그형 저장소.
• 05URL을 지정된 핸들러에 전달하는 요청 라우팅.

활용 사례

• 웹사이트에서 구조화된 제품 정보나 기사 데이터를 추출해 데이터셋으로 저장.
• AI, LLM 또는 RAG 파이프라인에 제공할 HTML이나 PDF 등의 웹 콘텐츠 수집.
• Playwright로 JavaScript 의존도가 높은 사이트의 스크래핑 자동화.
• 중단 후에도 이어서 실행할 수 있는 장시간 크롤링 수행.

빠른 시작

1. 1

   pip으로 모든 기능이 포함된 Crawlee를 설치합니다

   python -m pip install 'crawlee[all]'
2. 2

   Playwright 브라우저 종속 항목을 설치합니다

   playwright install
3. 3

   버전을 출력해 설치를 확인합니다

   python -c 'import crawlee; print(crawlee.__version__)'

사용 전 알아둘 점

• !브라우저 크롤링을 완전히 사용하려면 Playwright 브라우저 종속 항목을 별도로 설치해야 합니다.

토픽

자주 묻는 질문

crawlee-python은(는) 무엇인가요?

HTTP 및 헤드리스 브라우저 모드, 프록시 로테이션, 영구 저장소를 지원하는 안정적인 웹 크롤러와 스크레이퍼 구축용 Python 라이브러리입니다. Crawlee는 웹 스크래핑과 브라우저 자동화를 위한 Python 라이브러리입니다. 링크 탐색, URL 대기열 관리, 요청 병렬 실행, 실패한 페이지 재시도, 추출한 데이터의 기계 판독 가능한 형식 저장 등 크롤링에 필요한 작업을 처리하므로 개발자는 데이터 추출 로직에 집중할 수 있습니다.

crawlee-python은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

crawlee-python은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

crawlee-python은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. crawlee-python의 마지막 커밋은 2026년 11월 5일입니다.

crawlee-python은(는) 어디에 사용할 수 있나요?

웹사이트에서 구조화된 제품 정보나 기사 데이터를 추출해 데이터셋으로 저장. AI, LLM 또는 RAG 파이프라인에 제공할 HTML이나 PDF 등의 웹 콘텐츠 수집. Playwright로 JavaScript 의존도가 높은 사이트의 스크래핑 자동화. 중단 후에도 이어서 실행할 수 있는 장시간 크롤링 수행.

crawlee-python는 어떻게 설치하나요?

pip으로 모든 기능이 포함된 Crawlee를 설치합니다: python -m pip install 'crawlee[all]' Playwright 브라우저 종속 항목을 설치합니다: playwright install 버전을 출력해 설치를 확인합니다: python -c 'import crawlee; print(crawlee.__version__)'

crawlee-python은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apify/crawlee-python