RAG, AI 에이전트, 데이터 파이프라인에 사용할 수 있도록 웹사이트를 깔끔한 Markdown으로 변환하는 오픈소스 Python 크롤러
steipete/lore.md
도메인마다 UTC 기준 하루에 한 편씩 AI 생성 마크다운 에세이를 제공하고 엣지에 캐시하는 Cloudflare Worker입니다.
- 스타
- 28
- 포크
- 10
- 열린 이슈
- 0
- 마지막 커밋
- 3일 전
어떤 프로젝트인가요?
lore.md는 각 호스트 이름에 대해 UTC 기준 하루에 한 번 갱신되는 AI 생성 마크다운 에세이 한 편을 반환하는 간단한 Cloudflare Worker입니다. 해당 날짜의 첫 요청이 들어오면 xAI 모델을 사용하는 Cloudflare AI Gateway를 통해 에세이를 생성하고, 결과를 Durable Object에 저장한 뒤 엣지에 캐시하므로 도메인마다 하루에 모델을 한 번만 호출합니다.
출력은 자동으로 라이트 테마와 다크 테마가 적용되는 고정폭 글꼴 HTML 페이지 안에 표시되는 일반 마크다운입니다. Worker는 Host 헤더를 사용해 도메인별로 텍스트를 맞춤 생성합니다. 선택 사항인 /stream 경로를 사용하면 캐시 미스 시 첫 생성 결과를 실시간으로 볼 수 있으며, 동시에 들어온 요청은 진행 중인 동일한 생성을 공유합니다. 모델 호출에 실패하면 해당 날짜에 사용할 결정론적 대체 텍스트를 저장합니다.
핵심 기능
- 01호스트 이름마다 UTC 기준 하루에 마크다운 에세이 한 편을 생성합니다.
- 02모델 호출을 줄이기 위해 결과를 엣지와 Durable Object에 캐시합니다.
- 03Cloudflare AI Gateway의 OpenAI 호환 엔드포인트를 통해 모델 요청을 전달합니다.
- 04첫 생성 결과를 실시간으로 스트리밍하는 /stream 엔드포인트를 제공합니다.
- 05자동 라이트 모드와 다크 모드가 적용되는 고정폭 글꼴 페이지에 결과를 표시합니다.
활용 사례
- 자신의 도메인에서 매일 자동 생성되는 텍스트 페이지를 운영합니다.
- Durable Objects와 AI Gateway를 사용하는 Cloudflare Worker 개발 방법을 학습합니다.
- 도메인별 프롬프트와 일 단위 캐싱 패턴을 실험합니다.
토픽
자주 묻는 질문
- lore.md은(는) 무엇인가요?
- 도메인마다 UTC 기준 하루에 한 편씩 AI 생성 마크다운 에세이를 제공하고 엣지에 캐시하는 Cloudflare Worker입니다. lore.md는 각 호스트 이름에 대해 UTC 기준 하루에 한 번 갱신되는 AI 생성 마크다운 에세이 한 편을 반환하는 간단한 Cloudflare Worker입니다. 해당 날짜의 첫 요청이 들어오면 xAI 모델을 사용하는 Cloudflare AI Gateway를 통해 에세이를 생성하고, 결과를 Durable Object에 저장한 뒤 엣지에 캐시하므로 도메인마다 하루에 모델을 한 번만 호출합니다.
- lore.md은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- lore.md은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- lore.md은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. lore.md의 마지막 커밋은 2026년 10월 16일입니다.
- lore.md은(는) 어디에 사용할 수 있나요?
- 자신의 도메인에서 매일 자동 생성되는 텍스트 페이지를 운영합니다. Durable Objects와 AI Gateway를 사용하는 Cloudflare Worker 개발 방법을 학습합니다. 도메인별 프롬프트와 일 단위 캐싱 패턴을 실험합니다.
- lore.md은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/steipete/lore.md
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
어떤 주제나 문서든 AI 교사와 학습자가 함께하는 인터랙티브 교실로 바꾸는 오픈소스 AI 플랫폼입니다.
지원 에이전트부터 브라우저 및 컴퓨터 사용 에이전트까지, Claude API 기반 배포 가능한 앱을 만드는 스타터 프로젝트 모음입니다.
Rust, Node.js, Python 및 WASM 바인딩으로 Office 문서, PDF, EPUB, CSV를 깔끔한 GitHub-flavored Markdown으로 변환합니다.
MIT 라이선스로 자체 호스팅할 수 있는 Cal.com 커뮤니티 포크로, 엔터프라이즈 기능은 제외했습니다.
내 기기에서 실행되며 WhatsApp, Telegram, Slack, Discord 등의 채팅 앱으로 대화하는 셀프 호스팅 개인 AI 어시스턴트