RAG, AI 에이전트, 데이터 파이프라인에 사용할 수 있도록 웹사이트를 깔끔한 Markdown으로 변환하는 오픈소스 Python 크롤러
- 스타
- 17,893
- 포크
- 1,545
- 열린 이슈
- 110
- 마지막 커밋
- 10시간 전
어떤 프로젝트인가요?
Maxun은 웹사이트를 구조화된 데이터 소스로 바꾸는 오픈소스 플랫폼입니다. 실제 사용자 행동을 모방해 데이터를 추출할 수 있으며, 브라우저 작업을 기록해 재사용 가능한 로봇으로 만들거나 원하는 결과를 자연어로 설명해 AI 기반 추출을 수행할 수 있습니다.
데이터 추출 외에도 전체 페이지를 Markdown, HTML, 스크린샷으로 스크래핑하고, 사이트 전체를 크롤링하며, 기간 필터를 적용해 웹을 검색하고, 변경 알림을 받도록 페이지를 모니터링할 수 있습니다. 문서에서 구조화된 데이터도 파싱합니다.
Maxun은 시각적 대시보드, REST API, Node SDK, CLI 또는 AI 에이전트용 Model Context Protocol (MCP) 서버로 사용할 수 있습니다. Docker를 사용하거나 사용하지 않고 로컬에서 실행할 수 있으며, 호스팅 앱을 통해서도 이용할 수 있습니다.
핵심 기능
- 01브라우저 작업을 기록하고 재사용 가능한 추출 로봇으로 재생합니다.
- 02원하는 데이터를 자연어로 설명해 AI 기반 추출을 수행합니다.
- 03페이지를 Markdown, HTML, 스크린샷으로 스크래핑합니다.
- 04웹사이트 전체를 크롤링하고 여러 페이지의 콘텐츠를 추출합니다.
- 05웹사이트의 변경 사항을 모니터링하고 알림을 받습니다.
활용 사례
- 전자상거래 사이트의 상품 가격이나 목록을 데이터베이스에 수집합니다.
- MCP 인터페이스를 통해 웹 콘텐츠를 AI 에이전트에 제공합니다.
- 경쟁사 페이지를 추적하고 변경 시 알림을 받습니다.
- API가 없는 웹사이트를 기반으로 내부 데이터 파이프라인을 구축합니다.
토픽
자주 묻는 질문
- maxun은(는) 무엇인가요?
- 스크래핑, 크롤링, 검색, 모니터링, AI 추출로 웹사이트를 구조화된 API로 바꾸는 오픈소스 플랫폼입니다. Maxun은 웹사이트를 구조화된 데이터 소스로 바꾸는 오픈소스 플랫폼입니다. 실제 사용자 행동을 모방해 데이터를 추출할 수 있으며, 브라우저 작업을 기록해 재사용 가능한 로봇으로 만들거나 원하는 결과를 자연어로 설명해 AI 기반 추출을 수행할 수 있습니다.
- maxun은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- maxun은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- maxun은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. maxun의 마지막 커밋은 2026년 10월 18일입니다.
- maxun은(는) 어디에 사용할 수 있나요?
- 전자상거래 사이트의 상품 가격이나 목록을 데이터베이스에 수집합니다. MCP 인터페이스를 통해 웹 콘텐츠를 AI 에이전트에 제공합니다. 경쟁사 페이지를 추적하고 변경 시 알림을 받습니다. API가 없는 웹사이트를 기반으로 내부 데이터 파이프라인을 구축합니다.
- maxun은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/getmaxun/maxun
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
AI 에이전트는 격리된 Space에서 자동화 작업을 실행하고, 사용자는 자신의 탭과 로그인 상태를 유지하며 브라우징할 수 있는 브라우저입니다.
내 기기에서 실행되며 WhatsApp, Telegram, Slack, Discord 등의 채팅 앱으로 대화하는 셀프 호스팅 개인 AI 어시스턴트
AI 에이전트와 워크플로를 만드는 시각적 캔버스, 사용자 코드, 1,500개 이상의 통합을 갖춘 fair-code 워크플로 자동화 플랫폼입니다.
PostgreSQL, MySQL, SQLite 같은 SQL 데이터베이스를 Airtable 스타일의 스프레드시트 UI와 자동 REST API로 바꾸는 무료 셀프 호스팅 노코드 플랫폼입니다.
여러 소셜 네트워크의 게시물을 계획하고 발행·분석하는 오픈소스 소셜 미디어 관리 플랫폼