Repolode
提交项目
finic-ai

finic-ai/rag-stack

可私有化部署的 RAG 方案，基于开源大模型与 Qdrant，让你在自有文档上进行问答。

可替代:ChatGPT

在 GitHub 查看官网
Star
1,581
Fork
137
未关闭 Issue
27
最近提交
26天前

这是什么？

RAGstack 是一套可部署的检索增强生成（RAG）方案，用于在自有基础设施内搭建私有的类 ChatGPT 问答服务。它将开源大模型、Qdrant 向量数据库，以及一个支持 PDF 上传的服务端和简易 Web 界面组合在一起，让回答基于组织内部的文档。

本地运行时可使用 GPT4All 模型，在普通 CPU 上通过一个脚本完成模型下载并启动服务、模型与 Qdrant。云端部署提供基于 Terraform 的脚本，支持 Google Cloud（带 GPU 的 GKE）、AWS（ECS on EC2）和 Azure（AKS），默认部署 Falcon-7B。Llama 2 的云端部署也已支持，Llama-2-40b 仍在规划中。

该项目已被标记为遗留项目，作者不再维护。本地运行还需要配置 Supabase 项目以存储用户信息。

核心功能

  • 01可在自有环境中私有化部署，用于基于内部文档的问答。
  • 02使用基于 Rust 编写的开源向量数据库 Qdrant 进行检索。
  • 03支持通过 GPT4All 在 CPU 上本地推理，也支持在 GPU 上部署 Falcon-7B 或 Llama 2。
  • 04内置服务端和支持 PDF 上传的 Web 界面。
  • 05提供面向 GCP、AWS 和 Azure 的 Terraform 部署脚本。

适用场景

  • 基于公司内部 PDF 文档和合同搭建问答助手。
  • 在本地尝试 RAG 对话方案，避免数据发送到第三方托管 API。
  • 在云端 GPU 集群上预演 RAG 部署，再决定是否采用正式方案。

快速上手

  1. 1

    复制示例环境文件，并填入你的 Supabase 项目 URL 和密钥

  2. 2

    在 Supabase 中按 README 列出的列创建 ragstack_users 表

  3. 3

    运行本地开发脚本，启动服务器、LLM 和 Qdrant

    scripts/local/run-dev

使用前须知

  • README 说明该遗留项目已不再维护。
  • 本地运行需要 Supabase 项目并手动配置数据表。
  • 云端部署 Falcon-7B 需要支持 GPU 的集群和云账户。

收录于专题

私有 AI 知识库与 RAG自托管应用

标签

#rag#llm#vector-database#qdrant#self-hosted#terraform#gpt4all#falcon

常见问题

rag-stack 是什么？
可私有化部署的 RAG 方案，基于开源大模型与 Qdrant，让你在自有文档上进行问答。 RAGstack 是一套可部署的检索增强生成（RAG）方案，用于在自有基础设施内搭建私有的类 ChatGPT 问答服务。它将开源大模型、Qdrant 向量数据库，以及一个支持 PDF 上传的服务端和简易 Web 界面组合在一起，让回答基于组织内部的文档。
rag-stack 可以免费使用吗？用的什么许可证？
rag-stack 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
rag-stack 还在维护吗？
活跃维护中。rag-stack 最近一次提交是在 2026年10月12日。
rag-stack 适合用来做什么？
基于公司内部 PDF 文档和合同搭建问答助手。 在本地尝试 RAG 对话方案，避免数据发送到第三方托管 API。 在云端 GPU 集群上预演 RAG 部署，再决定是否采用正式方案。
rag-stack 怎么安装和运行？
复制示例环境文件，并填入你的 Supabase 项目 URL 和密钥 在 Supabase 中按 README 列出的列创建 ragstack_users 表 运行本地开发脚本，启动服务器、LLM 和 Qdrant: scripts/local/run-dev
在哪里获取 rag-stack？
源代码和安装说明在 GitHub 上：https://github.com/finic-ai/rag-stack

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目