自托管推理服务器,通过兼容 OpenAI 的 API 在一个集群中提供嵌入、重排序、OCR、抽取和大模型等多种模型。
superlinear-ai/raglite
基于 DuckDB 或 PostgreSQL 的 Python 检索增强生成(RAG)工具包。
- Star
- 1,211
- Fork
- 117
- 未关闭 Issue
- 17
- 最近提交
- 6天前
这是什么?
RAGLite 是一个用于构建检索增强生成(RAG)流程的 Python 工具包。它可以把 PDF 等文档转换为 Markdown,切分成块并生成向量,然后存入 DuckDB 或 PostgreSQL,回答问题时检索相关段落交给 LLM 处理。
检索部分结合了数据库自带的关键词搜索和向量搜索(DuckDB 上使用 FTS 与 VSS,PostgreSQL 上使用 tsvector 与 pgvector),并可用可配置的重排序器对结果重新排序。LLM 与 embedding 模型通过 LiteLLM 调用,也支持借助 llama-cpp-python 运行本地 llama.cpp 模型,项目刻意避免 PyTorch、LangChain 等较重的依赖。
除基础检索外,RAGLite 还提供基于评测数据计算的可选查询适配器、元数据过滤、面向 Claude desktop 等 MCP 客户端的内置服务器,以及基于 Chainlit 的聊天界面。检索与生成质量的评估可通过 Ragas 扩展安装使用。
核心功能
- 01在 DuckDB 或 PostgreSQL 中存储文档,支持关键词与向量混合检索。
- 02可通过 LiteLLM 使用任意受支持的 LLM 与 embedding 模型,包括本地 llama.cpp 模型。
- 03支持通过 rerankers 对检索结果重排序,默认使用 FlashRank。
- 04将 PDF 转换为 Markdown,并可选借助 Pandoc 或 Mistral OCR 处理其他格式。
- 05支持按文档元数据过滤检索结果。
- 06以 MCP 工具形式提供检索能力,并可选启动基于 Chainlit 的聊天界面。
适用场景
- 基于一批私有 PDF 或 Markdown 文档搭建问答助手。
- 使用 DuckDB 与 llama.cpp 模型搭建完全本地运行的 RAG 系统。
- 通过 MCP 为 Claude desktop 添加知识库检索工具。
- 尝试不同检索策略,并用 Ragas 评估检索与生成效果。
快速上手
- 1
从 PyPI 安装 RAGLite
pip install raglite - 2
在 Python 中配置 RAGLite,选择 DuckDB 或 PostgreSQL 数据库以及一个大语言模型
使用前须知
- 采用 MPL-2.0 许可证,这是文件级的 copyleft 许可证,修改过的源文件需要公开。
- 使用本地 llama.cpp 模型时,需要单独安装与你的 Python 版本和平台匹配的 llama-cpp-python 版本。
- 部分功能(如 Cohere 重排序器和 Mistral OCR)需要外部 API 密钥。
收录于专题
标签
常见问题
- raglite 是什么?
- 基于 DuckDB 或 PostgreSQL 的 Python 检索增强生成(RAG)工具包。 RAGLite 是一个用于构建检索增强生成(RAG)流程的 Python 工具包。它可以把 PDF 等文档转换为 Markdown,切分成块并生成向量,然后存入 DuckDB 或 PostgreSQL,回答问题时检索相关段落交给 LLM 处理。
- raglite 可以免费使用吗?用的什么许可证?
- raglite 以 MPL-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- raglite 还在维护吗?
- 活跃维护中。raglite 最近一次提交是在 2026年11月1日。
- raglite 适合用来做什么?
- 基于一批私有 PDF 或 Markdown 文档搭建问答助手。 使用 DuckDB 与 llama.cpp 模型搭建完全本地运行的 RAG 系统。 通过 MCP 为 Claude desktop 添加知识库检索工具。 尝试不同检索策略,并用 Ragas 评估检索与生成效果。
- raglite 怎么安装和运行?
- 从 PyPI 安装 RAGLite: pip install raglite 在 Python 中配置 RAGLite,选择 DuckDB 或 PostgreSQL 数据库以及一个大语言模型
- 在哪里获取 raglite?
- 源代码和安装说明在 GitHub 上:https://github.com/superlinear-ai/raglite
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 PostgreSQL 表数据的 RAG 问答应用,结合 pgvector 检索和 OpenAI 模型,可部署到 Azure。
开源 RAG 引擎,将检索增强生成与智能体能力结合,为大模型应用提供上下文层。
一个通用、可扩展的 RAG 框架,用于基于自有数据集构建大模型问答应用,附带 React 界面。
一个用 Rust 编写、可自托管的知识库,从文档构建双时态知识图谱,并提供 RAG 检索、本体推理和 MCP 接入。
RAG-Fusion 的 Python 参考实现,通过 LLM 改写查询、BM25 与向量混合检索及 RRF 融合提升检索效果。