YOLOW92/pagesift

어떤 프로젝트인가요?

핵심 기능

• 01HTML, PDF, Word, Excel, PowerPoint, EPUB, CSV를 Markdown 또는 구조화된 데이터로 변환합니다.
• 02Firecrawl v1/v2 호환 API와 Jina Reader 스타일 엔드포인트를 제공합니다.
• 03Python 및 Node.js SDK와 CLI, Docker 이미지를 제공합니다.
• 04필요한 경우에만 헤드리스 브라우저로 JavaScript 페이지를 렌더링합니다.
• 05가져오기 감사 로그를 남기는 공용 MCP 서버로 실행할 수 있습니다.
• 06큐 크기에 상한을 두고 cgroup 제한을 읽어 메모리 사용량을 제한합니다.

활용 사례

• 웹사이트와 내부 문서를 바탕으로 RAG 지식 베이스 구축하기.
• LLM 에이전트에 페이지 콘텐츠를 깔끔하게 가져오는 도구 제공하기.
• 호스팅형 Firecrawl 또는 Jina Reader 의존성을 자체 호스팅 서비스로 대체하기.
• PDF와 Office 파일을 일괄적으로 Markdown으로 변환해 색인하기.

사용 전 알아둘 점

• !AGPL-3.0에 따라 라이선스가 부여된 카피레프트 라이선스로, 소프트웨어를 네트워크를 통해 사용할 경우 소스 코드를 공유해야 합니다.
• !일부 벤치마크에서는 A2 replay 및 fast crawl 측정 시간에서 spider 같은 경쟁 제품보다 뒤처집니다.
• !2억 요청 처리량 수치는 네트워크가 없는 합성 로컬 오리진에서 나온 것으로, 실제 인터넷 속도를 나타내지 않습니다.

포함된 컬렉션

토픽

자주 묻는 질문

pagesift은(는) 무엇인가요?

웹사이트, PDF, Office 파일을 AI 에이전트와 RAG 파이프라인에 적합한 깔끔한 Markdown 및 구조화된 데이터로 변환하는 Rust 웹 크롤러·추출 엔진입니다. PageSift는 AI 에이전트와 LLM 파이프라인에 데이터를 제공하도록 설계된 Rust 기반 웹 스크래핑 및 콘텐츠 추출 엔진입니다. URL이나 업로드한 파일을 가져와 주요 콘텐츠를 Markdown 또는 구조화된 데이터로 변환합니다. HTML 페이지, PDF, Word, Excel, PowerPoint, EPUB, CSV를 지원하며, 크롤링 시 상황에 맞게 요청 간격을 조절하고 호스트별 요청 속도 제한을 적용합니다. 페이지 콘텐츠를 표시하는 데 JavaScript가 필요한 경우에만 헤드리스 브라우저로 렌더링합니다.

pagesift은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

pagesift은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

pagesift은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. pagesift의 마지막 커밋은 2026년 11월 4일입니다.

pagesift은(는) 어디에 사용할 수 있나요?

웹사이트와 내부 문서를 바탕으로 RAG 지식 베이스 구축하기. LLM 에이전트에 페이지 콘텐츠를 깔끔하게 가져오는 도구 제공하기. 호스팅형 Firecrawl 또는 Jina Reader 의존성을 자체 호스팅 서비스로 대체하기. PDF와 Office 파일을 일괄적으로 Markdown으로 변환해 색인하기.

pagesift은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/YOLOW92/pagesift