unclecode/crawl4ai

어떤 프로젝트인가요?

핵심 기능

• 01메뉴, 푸터, 불필요한 상용구를 제거하는 필터를 적용해 페이지를 깔끔한 Markdown으로 변환합니다.
• 02CSS/XPath 스키마 또는 모든 LLM 제공자를 통해 구조화된 JSON을 추출합니다.
• 03JavaScript를 실행하고, 요소가 나타날 때까지 기다리며, 지연 로딩 콘텐츠를 위해 페이지 전체를 스크롤합니다.
• 04심층 크롤링(BFS, DFS, 최선 우선)과 여러 URL의 일괄 크롤링을 지원합니다.
• 05영구 프로필, 프록시, 세션, 스텔스 옵션으로 브라우저를 제어할 수 있습니다.
• 06Docker REST 서버, crwl CLI, MCP 엔드포인트를 제공합니다.

활용 사례

• 웹 콘텐츠를 RAG 파이프라인이나 벡터 데이터베이스에 넣기.
• AI 에이전트가 실시간 웹페이지를 읽고 요약할 수 있도록 하기.
• 파서를 직접 작성하지 않고 제품 페이지나 가격 페이지를 구조화된 데이터로 스크레이핑하기.
• 오프라인 검색을 위해 문서 사이트를 Markdown으로 보관하기.

토픽

자주 묻는 질문

crawl4ai은(는) 무엇인가요?

RAG, AI 에이전트, 데이터 파이프라인에 사용할 수 있도록 웹사이트를 깔끔한 Markdown으로 변환하는 오픈소스 Python 크롤러 Crawl4AI는 Python으로 만든 오픈소스 웹 크롤러이자 스크레이퍼입니다. 실제 브라우저로 페이지를 가져와 언어 모델이 읽기 좋은 깔끔한 Markdown으로 변환하므로, 검색 증강 생성(RAG), AI 에이전트, 데이터 파이프라인에 유용합니다. 페이지에서 구조화된 JSON을 추출하는 기능도 제공하며, LLM이 필요 없는 CSS 및 XPath 스키마를 사용하거나 LiteLLM을 통해 지원되는 모든 LLM 제공자를 이용할 수 있습니다.

crawl4ai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

crawl4ai은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

crawl4ai은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. crawl4ai의 마지막 커밋은 2026년 10월 15일입니다.

crawl4ai은(는) 어디에 사용할 수 있나요?

웹 콘텐츠를 RAG 파이프라인이나 벡터 데이터베이스에 넣기. AI 에이전트가 실시간 웹페이지를 읽고 요약할 수 있도록 하기. 파서를 직접 작성하지 않고 제품 페이지나 가격 페이지를 구조화된 데이터로 스크레이핑하기. 오프라인 검색을 위해 문서 사이트를 Markdown으로 보관하기.

crawl4ai은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/unclecode/crawl4ai