开源 Python 网页爬虫,可将任意网站转为干净、适合 LLM 使用的 Markdown,并支持结构化数据提取。
steipete/lore.md
基于 Cloudflare Worker 的极简服务,每个域名每个 UTC 日生成一篇 AI 写的 Markdown 短文。
- Star
- 28
- Fork
- 10
- 未关闭 Issue
- 0
- 最近提交
- 4天前
这是什么?
lore.md 是一个小型 Cloudflare Worker,为每个域名每天(UTC 日)提供一篇由 AI 生成的 Markdown 短文。当天第一次请求会通过 Cloudflare AI Gateway 调用 xAI Grok 模型生成内容,结果保存在 Durable Object 中并缓存到边缘节点,因此每个域名每天只产生一次模型调用。
输出为纯文本 Markdown,显示在等宽字体的 HTML 外壳中,并自动适配浅色和深色主题。同一时刻的并发冷请求会共享同一次生成;可选的 /stream 路径可在缓存未命中时实时展示首次生成过程。模型调用失败时,会为该域名当天存储一段确定性的备用文本。
部署使用 Wrangler:创建 AI Gateway,将 xAI API Key 保存为 secret,配置网关地址,部署 Worker 后将域名映射到它。
核心功能
- 01每个域名每个 UTC 日生成一篇 Markdown 短文。
- 02结果在边缘缓存 24 小时,并保存在 Durable Object 中。
- 03并发的冷请求共享同一次生成,避免重复调用模型。
- 04提供可选的 /stream 路径,缓存未命中时实时输出内容。
- 05模型调用失败时回退到确定性文本。
适用场景
- 在个人或副业域名上运行每日自动生成文本的页面。
- 在 Cloudflare Workers 上实验 AI Gateway 与 Durable Objects。
- 为多个域名提供每天只调用一次模型的低成本内容接口。
快速上手
- 1
使用 Wrangler 登录 Cloudflare
wrangler login - 2
将 xAI API 密钥设置为 Worker 机密
wrangler secret put XAI_API_KEY - 3
将 GATEWAY_BASE 设置为你的 AI Gateway compat 地址,然后部署 Worker
wrangler deploy - 4
在 Cloudflare Routes 或 DNS 中将你的域名映射到该 Worker
使用前须知
- 需要一个已配置 Workers、Durable Objects 和 AI Gateway 的 Cloudflare 账户。
- 模型调用需要付费的 xAI API 密钥。
标签
常见问题
- lore.md 是什么?
- 基于 Cloudflare Worker 的极简服务,每个域名每个 UTC 日生成一篇 AI 写的 Markdown 短文。 lore.md 是一个小型 Cloudflare Worker,为每个域名每天(UTC 日)提供一篇由 AI 生成的 Markdown 短文。当天第一次请求会通过 Cloudflare AI Gateway 调用 xAI Grok 模型生成内容,结果保存在 Durable Object 中并缓存到边缘节点,因此每个域名每天只产生一次模型调用。
- lore.md 可以免费使用吗?用的什么许可证?
- lore.md 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- lore.md 还在维护吗?
- 活跃维护中。lore.md 最近一次提交是在 2026年10月16日。
- lore.md 适合用来做什么?
- 在个人或副业域名上运行每日自动生成文本的页面。 在 Cloudflare Workers 上实验 AI Gateway 与 Durable Objects。 为多个域名提供每天只调用一次模型的低成本内容接口。
- lore.md 怎么安装和运行?
- 使用 Wrangler 登录 Cloudflare: wrangler login 将 xAI API 密钥设置为 Worker 机密: wrangler secret put XAI_API_KEY 将 GATEWAY_BASE 设置为你的 AI Gateway compat 地址,然后部署 Worker: wrangler deploy 在 Cloudflare Routes 或 DNS 中将你的域名映射到该 Worker
- 在哪里获取 lore.md?
- 源代码和安装说明在 GitHub 上:https://github.com/steipete/lore.md
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源文档解析工具,把 PDF、Office、HTML 等文件转换为结构化数据,供生成式 AI 使用。
为 AI 编程代理提供长期记忆,在 Claude Code、Codex、Cursor 等多种代理 CLI 之间共享项目上下文与交接。
运行在 Cloudflare Durable Object 中的虚拟文件系统,为 AI 智能体提供可插拔的容器或 Worker 执行环境。
命令行与 Web 工作台,用 LLM 将原始文档编译为相互链接、自动维护的 Markdown 知识库。
面向 Claude Code、Codex 等 AI 智能体的插件,用 LLM 编译可检索、兼容 Obsidian 的知识库。