“web-scraping” 관련 오픈소스 프로젝트

LLM이 실제 브라우저를 제어하는 AI 에이전트를 위한 오픈소스 Python 라이브러리로, 선택형 호스팅 클라우드 브라우저와 에이전트 API를 제공합니다.

웹과 로컬 문서를 심층 조사해 출처를 표기한 보고서를 작성하는 오픈소스 자율 에이전트입니다.

LLM과 그래프 기반 파이프라인으로 자연어 프롬프트에 따라 웹사이트와 로컬 문서에서 구조화된 데이터를 추출하는 Python 라이브러리입니다.

웹사이트가 사용하는 안티봇 시스템, CAPTCHA 및 핑거프린팅 기법을 신뢰도 점수와 함께 탐지하는 Chrome 확장 프로그램입니다.

기록한 브라우저 동작을 MCP 명령이나 Claude Skills로 변환해 AI 에이전트가 직접 브라우저를 조작하게 하는 자동화 플랫폼입니다.

봇 감지를 피하는 웹 스크래퍼를 위한 Python 프레임워크로, 브라우저·HTTP 요청 모드와 UI 생성, 데스크톱 앱을 지원합니다.

Google News를 검색해 기사 결과를 JSON으로 반환하고, 선택적으로 전체 본문을 추출하는 경량 Python 패키지입니다.

Playwright로 웹사이트를 분석해 디자인 시스템을 추출하고 Tailwind, React, 토큰 또는 Markdown으로 내보냅니다.

스크래핑, 크롤링, 검색, 모니터링, AI 추출로 웹사이트를 구조화된 API로 바꾸는 오픈소스 플랫폼입니다.

AI 에이전트는 격리된 Space에서 자동화 작업을 실행하고, 사용자는 자신의 탭과 로그인 상태를 유지하며 브라우징할 수 있는 브라우저입니다.

WeChat 공식 계정 글에서 재사용 가능한 시각 스타일 템플릿을 추출하고 편집기에 붙여넣을 서식 있는 텍스트로 미리 보는 도구입니다.

PEP 전자 교과서를 일괄 다운로드하고 PDF로 병합하는 WebUI 및 CLI 지원 Python 도구입니다.

웹페이지의 콘텐츠·가격·재고 변화를 감지하고 다양한 채널로 알림을 보내는 셀프 호스팅 도구입니다.

Bilibili, Reddit, Hacker News 등 수십 개 웹사이트의 데이터를 명령 하나로 가져오는 Rust CLI 도구입니다.

RAG, AI 에이전트, 데이터 파이프라인에 사용할 수 있도록 웹사이트를 깔끔한 Markdown으로 변환하는 오픈소스 Python 크롤러