spider-rs/spider

어떤 프로젝트인가요?

핵심 기능

• 01크롤링이 끝날 때까지 기다리지 않고 페이지를 가져오는 즉시 스트리밍합니다.
• 02기본적으로 HTTP를 사용하고 JavaScript 처리가 많이 필요한 페이지에만 headless Chrome을 실행합니다.
• 03동시성, 크롤링 깊이, 요청 지연 시간, robots.txt 준수 여부를 제어합니다.
• 04프록시, 재시도, 속도 제한, 스텔스 옵션을 기본 제공합니다.
• 05Rust, Node.js, Python 바인딩과 CLI, MCP 서버를 제공합니다.

활용 사례

• LLM 또는 RAG 파이프라인에서 사용할 웹 콘텐츠를 벡터 저장소에 넣기.
• SEO 변경 사항이나 가격 변동을 모니터링하기.
• 크롤링한 페이지를 Markdown, JSON, WARC 파일로 내보내기.
• AI 브라우징 에이전트용 headless Chrome 제어하기.

빠른 시작

1. 1

   Rust 라이브러리를 프로젝트에 추가하세요

   cargo add spider
2. 2

   또는 명령줄 도구를 설치하세요

   cargo install spider_cli
3. 3

   Website::new와 crawl().await를 사용해 크롤러를 작성하세요(README 예제 참조)

사용 전 알아둘 점

• !Spider Cloud의 모든 기능을 사용하려면 타사 서비스의 유료 또는 무료 API 키가 필요합니다.

토픽

자주 묻는 질문

spider은(는) 무엇인가요?

필요한 페이지에만 JavaScript를 렌더링하는 Rust 기반 동시성 우선 웹 크롤링·스크래핑 엔진입니다. Spider는 Rust로 작성된 웹 크롤링·스크래핑 엔진입니다. 페이지를 가져오는 즉시 스트리밍하며, 기본적으로 일반 HTTP를 사용하고 JavaScript 렌더링이 필요한 페이지에만 headless Chrome을 실행합니다. 단일 로컬 스크립트부터 분산 워커 구성까지 동일한 API를 사용할 수 있습니다.

spider은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

spider은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

spider은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. spider의 마지막 커밋은 2026년 10월 20일입니다.

spider은(는) 어디에 사용할 수 있나요?

LLM 또는 RAG 파이프라인에서 사용할 웹 콘텐츠를 벡터 저장소에 넣기. SEO 변경 사항이나 가격 변동을 모니터링하기. 크롤링한 페이지를 Markdown, JSON, WARC 파일로 내보내기. AI 브라우징 에이전트용 headless Chrome 제어하기.

spider는 어떻게 설치하나요?

Rust 라이브러리를 프로젝트에 추가하세요: cargo add spider 또는 명령줄 도구를 설치하세요: cargo install spider_cli Website::new와 crawl().await를 사용해 크롤러를 작성하세요(README 예제 참조)

spider은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/spider-rs/spider