Repolode
제출하기
omkarcloud

omkarcloud/botasaurus

봇 감지를 피하는 웹 스크래퍼를 위한 Python 프레임워크로, 브라우저·HTTP 요청 모드와 UI 생성, 데스크톱 앱을 지원합니다.

GitHub에서 보기웹사이트
스타
5,783
포크
507
열린 이슈
59
마지막 커밋
3개월 전

어떤 프로젝트인가요?

Botasaurus는 웹 스크래핑용 Python 프레임워크입니다. 스크래핑 함수를 사람처럼 동작하는 Chrome 브라우저에서 실행하는 데코레이터(@browser), 가벼운 HTTP 요청을 보내는 데코레이터(@request), Playwright와 Selenium 같은 서드파티 라이브러리를 사용하는 데코레이터(@task)를 제공합니다. 스크래핑 함수는 입력 목록을 받아 병렬로 실행하고, 반환값을 JSON 출력 파일에 저장할 수 있습니다.

이 프로젝트는 봇 감지를 피하는 데 중점을 둡니다. 프록시 로테이션, 영구 Chrome 프로필, 확장 프로그램, 헤드리스 모드, bypass_cloudflare를 통한 Cloudflare 우회 등 브라우저 설정 옵션을 제공합니다. 프록시 대역폭 비용을 줄이는 방법으로 브라우저 기반 fetch 요청도 지원하며, 캐싱, 사이트맵, 데이터 정리, IP 정보 관련 유틸리티도 제공합니다.

스크립트 외에도 Botasaurus는 스크래퍼를 바탕으로 입력 컨트롤, 결과 테이블, REST API를 갖춘 웹 UI를 생성할 수 있습니다. 또한 JavaScript를 사용해 Windows, macOS, Linux용 크로스 플랫폼 데스크톱 애플리케이션을 빌드할 수 있습니다.

핵심 기능

  • 01브라우저, HTTP, 서드파티 라이브러리 기반 스크래핑을 위한 세 가지 데코레이터(@browser, @request, @task).
  • 02Cloudflare 우회, 사람 같은 마우스 움직임, fingerprint 제어 등 내장된 안티 감지 옵션.
  • 03프록시 로테이션, 영구 Chrome 프로필, Chrome 확장 프로그램 지원.
  • 04입력 목록을 병렬로 처리하고 결과를 JSON으로 저장.
  • 05스크래퍼에서 웹 UI, REST API, 데스크톱 앱을 생성.

활용 사례

  • Cloudflare 또는 다른 봇 감지 서비스로 보호되는 사이트 스크래핑.
  • 프록시 로테이션과 병렬 작업자를 활용해 대량의 페이지 방문 실행.
  • 내부 스크래퍼를 개발자가 아닌 사용자도 쓸 수 있는 웹 도구나 데스크톱 도구로 전환.

토픽

#web-scraping#python#anti-bot#browser-automation#selenium-alternative#cloudflare-bypass#proxy#scraping-framework#anti-detect#anti-detect-browser

자주 묻는 질문

botasaurus은(는) 무엇인가요?
봇 감지를 피하는 웹 스크래퍼를 위한 Python 프레임워크로, 브라우저·HTTP 요청 모드와 UI 생성, 데스크톱 앱을 지원합니다. Botasaurus는 웹 스크래핑용 Python 프레임워크입니다. 스크래핑 함수를 사람처럼 동작하는 Chrome 브라우저에서 실행하는 데코레이터(@browser), 가벼운 HTTP 요청을 보내는 데코레이터(@request), Playwright와 Selenium 같은 서드파티 라이브러리를 사용하는 데코레이터(@task)를 제공합니다. 스크래핑 함수는 입력 목록을 받아 병렬로 실행하고, 반환값을 JSON 출력 파일에 저장할 수 있습니다.
botasaurus은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
botasaurus은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
botasaurus은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. botasaurus의 마지막 커밋은 2026년 7월 26일입니다.
botasaurus은(는) 어디에 사용할 수 있나요?
Cloudflare 또는 다른 봇 감지 서비스로 보호되는 사이트 스크래핑. 프록시 로테이션과 병렬 작업자를 활용해 대량의 페이지 방문 실행. 내부 스크래퍼를 개발자가 아닌 사용자도 쓸 수 있는 웹 도구나 데스크톱 도구로 전환.
botasaurus은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/omkarcloud/botasaurus

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트