“web-crawler” 관련 오픈소스 프로젝트

LLM과 그래프 기반 파이프라인으로 자연어 프롬프트에 따라 웹사이트와 로컬 문서에서 구조화된 데이터를 추출하는 Python 라이브러리입니다.

홈페이지 URL을 기준으로 사이트를 크롤링해 52개 SEO 규칙을 점검하고 PDF, XLSX, Markdown 보고서를 만드는 Python 도구입니다.

RAG, AI 에이전트, 데이터 파이프라인에 사용할 수 있도록 웹사이트를 깔끔한 Markdown으로 변환하는 오픈소스 Python 크롤러