웹사이트를 스크래핑, 크롤링, 검색, 모니터링, AI 추출용 구조화 API로 바꾸는 오픈소스 웹 데이터 플랫폼
- 스타
- 44,721
- 포크
- 5,394
- 열린 이슈
- 274
- 마지막 커밋
- 그저께
어떤 프로젝트인가요?
EasySpider는 브라우저 자동화와 웹 데이터 수집을 위한 데스크톱 애플리케이션입니다. 스크립트를 작성하는 대신 페이지에서 원하는 요소를 선택하면, 도구가 실행하고 재사용할 수 있는 작업을 생성합니다. 상품 목록처럼 비슷한 블록을 자동으로 감지하므로 목록 전체를 선택하고 하위 필드를 한 번에 추출할 수 있습니다.
작업은 흐름도로 구성하며, 링크를 하나씩 클릭해 상세 페이지를 열거나 결과 페이지를 넘기는 반복 작업, 조건 분기, 텍스트 입력, 스크린샷, 사용자 지정 JavaScript 등을 포함할 수 있습니다. 수집한 데이터는 필드별로 저장됩니다. 완성한 작업을 다른 시스템에서 실행할 수 있도록 명령줄 모드도 제공합니다.
이 프로젝트는 AGPL-3.0 라이선스를 따르며 Electron으로 만들어졌습니다. 문서는 프로젝트의 GitHub Wiki에서 확인할 수 있고, 예제 작업은 저장소의 Examples 폴더에 포함되어 있습니다.
핵심 기능
- 01클릭으로 페이지 요소를 선택하며, 비슷한 항목은 자동으로 찾아냅니다.
- 02반복, 조건 분기, 텍스트 입력을 포함하는 수집 흐름을 흐름도로 구성합니다.
- 03목록 항목을 하나씩 순회하며 상세 페이지를 열어 데이터를 수집합니다.
- 04추출한 데이터를 필드별로 나눠 저장합니다.
- 05다른 시스템과 연동할 수 있도록 명령줄에서 작업을 실행합니다.
- 06작업에 사용자 지정 JavaScript 단계를 추가합니다.
활용 사례
- 코드를 작성하지 않고 이커머스 사이트에서 상품 목록과 상세 정보를 수집합니다.
- 공개 웹페이지를 구조화된 데이터로 스크래핑해 분석합니다.
- 반복적인 브라우저 작업을 예약 작업이나 배치 작업으로 자동화합니다.
- 사용자 지정 코드를 작성할지 결정하기 전에 스크래퍼를 프로토타이핑합니다.
빠른 시작
- 1
Releases Page에서 최신 버전을 다운로드하세요
- 2
다운로드한 EasySpider 앱을 열고 페이지의 요소를 클릭해 작업을 설계하세요
사용 전 알아둘 점
- AGPL-3.0 라이선스에 따라 파생 저작물과 네트워크를 통해 제공되는 수정 버전은 동일한 라이선스로 공개해야 합니다.
- README의 후원 및 홍보 섹션은 설치와 관련이 없으며, 소프트웨어는 어떠한 보증도 없이 있는 그대로 제공됩니다.
토픽
자주 묻는 질문
- EasySpider은(는) 무엇인가요?
- 웹페이지 요소를 클릭해 데이터 수집 작업을 설계하는 시각적 노코드 웹 크롤러 및 브라우저 자동화 도구입니다. EasySpider는 브라우저 자동화와 웹 데이터 수집을 위한 데스크톱 애플리케이션입니다. 스크립트를 작성하는 대신 페이지에서 원하는 요소를 선택하면, 도구가 실행하고 재사용할 수 있는 작업을 생성합니다. 상품 목록처럼 비슷한 블록을 자동으로 감지하므로 목록 전체를 선택하고 하위 필드를 한 번에 추출할 수 있습니다.
- EasySpider은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- EasySpider은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- EasySpider은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. EasySpider의 마지막 커밋은 2026년 10월 19일입니다.
- EasySpider은(는) 어디에 사용할 수 있나요?
- 코드를 작성하지 않고 이커머스 사이트에서 상품 목록과 상세 정보를 수집합니다. 공개 웹페이지를 구조화된 데이터로 스크래핑해 분석합니다. 반복적인 브라우저 작업을 예약 작업이나 배치 작업으로 자동화합니다. 사용자 지정 코드를 작성할지 결정하기 전에 스크래퍼를 프로토타이핑합니다.
- EasySpider는 어떻게 설치하나요?
- Releases Page에서 최신 버전을 다운로드하세요 다운로드한 EasySpider 앱을 열고 페이지의 요소를 클릭해 작업을 설계하세요
- EasySpider은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NaiboWang/EasySpider
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Firecrawl을 통해 AI 에이전트와 MCP 클라이언트에 웹 검색, 스크래핑, 크롤링, 브라우저 조작, Markdown 또는 구조화 데이터 추출 기능을 제공하는 공식 MCP 서버입니다.
DevTools Protocol 또는 WebDriver BiDi를 통해 Chrome이나 Firefox를 제어하는 고수준 API를 제공하며, 기본적으로 헤드리스 모드로 실행되는 JavaScript 라이브러리입니다.
AI 에이전트와 자동화를 위해 처음부터 Zig로 만든 헤드리스 브라우저로, CDP 및 WebDriver BiDi 서버를 제공합니다.
자연어 act, observe, extract 호출과 Playwright 스타일 API로 Chrome을 제어하는 브라우저 에이전트용 TypeScript, Python, Go SDK입니다.
LLM과 컴퓨터 비전으로 모든 사이트에서 웹 워크플로를 실행하는 오픈 소스 브라우저 자동화 도구로, Playwright에 AI 명령을 더합니다.