Qdrantにドキュメントを埋め込み、セマンティック検索とハイブリッド検索を実行し、LLMで質問に回答する会話型RAGエージェントのFastAPIバックエンド。
finic-ai/rag-stack
オープンソースLLMとQdrantを使い、手元のPDFや文書を対象としたChatGPT風のプライベートアシスタントを構築できるセルフホスト型RAGスタック。
代替できる製品:ChatGPT
- スター
- 1,581
- フォーク
- 137
- 未解決の Issue
- 27
- 最終コミット
- 26 日前
これは何?
RAGstackは、ホスト型のChatGPT風ツールに代わるプライベートな環境として、自社インフラ内で動かすことを想定した、デプロイ可能な検索拡張生成(RAG)スタックです。オープンソースLLM、ベクトルデータベースのQdrant、PDFをアップロードできるシンプルなWeb UIを備えたサーバーを組み合わせ、組織内の文書に基づいた回答を生成できます。
ローカルのCPUで動作するGPT4Allに対応しており、モデルをダウンロードしてサーバー、LLM、Qdrantをローカルで起動するセットアップを1つのスクリプトで実行できます。クラウドへのデプロイには、Google Cloud(GPU搭載GKE)、AWS(EC2上のECS)、Azure(AKS)向けのTerraformベースのスクリプトが用意されており、Falcon-7Bをデプロイします。クラウド環境ではLlama 2もサポート対象とされていますが、Llama-2-40bへの対応はロードマップ上の項目です。
このプロジェクトはレガシー扱いで、開発者による保守は終了しています。また、ローカル環境のセットアップにも、ユーザー情報の保存に使うSupabaseプロジェクトが必要です。
主な機能
- 01手元の文書を対象とした、プライベートなセルフホスト型チャットインターフェースをデプロイできます。
- 02Rust製のオープンソースベクトルデータベースQdrantを検索に使用します。
- 03ローカルCPUでの推論にはGPT4All、GPU環境ではFalcon-7BまたはLlama 2を利用できます。
- 04PDFアップロードに対応したサーバーとWeb UIを備えています。
- 05GCP、AWS、Azure向けのTerraformベースのデプロイスクリプトを提供します。
ユースケース
- 社内のPDFや契約書を対象にした、社内向け質問応答アシスタントの構築。
- データをホスト型APIに送信せずに、RAGチャット環境をローカルで試す。
- 本番環境の設計を採用する前に、クラウドGPUクラスター上でRAGのデプロイを試作する。
クイックスタート
- 1
サンプルの env ファイルをコピーし、Supabase プロジェクトの URL とキーを追加します
- 2
Supabase で、README に記載されているカラムを使って ragstack_users テーブルを作成します
- 3
ローカル開発用スクリプトを実行して、サーバー、LLM、Qdrant を起動します
scripts/local/run-dev
使う前に知っておきたいこと
- README によると、このレガシープロジェクトは現在メンテナンスされていません。
- ローカル環境のセットアップには、Supabase プロジェクトとテーブルの手動設定が必要です。
- Falcon-7B をクラウドにデプロイするには、GPU 対応クラスターとクラウドアカウントが必要です。
収録されている特集
トピック
よくある質問
- rag-stack とは?
- オープンソースLLMとQdrantを使い、手元のPDFや文書を対象としたChatGPT風のプライベートアシスタントを構築できるセルフホスト型RAGスタック。 RAGstackは、ホスト型のChatGPT風ツールに代わるプライベートな環境として、自社インフラ内で動かすことを想定した、デプロイ可能な検索拡張生成(RAG)スタックです。オープンソースLLM、ベクトルデータベースのQdrant、PDFをアップロードできるシンプルなWeb UIを備えたサーバーを組み合わせ、組織内の文書に基づいた回答を生成できます。
- rag-stack は無料で使えますか?ライセンスは?
- rag-stack は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- rag-stack は今もメンテナンスされていますか?
- 活発にメンテナンス中。rag-stack の最終コミットは 2026年10月12日 です。
- rag-stack は何に使えますか?
- 社内のPDFや契約書を対象にした、社内向け質問応答アシスタントの構築。 データをホスト型APIに送信せずに、RAGチャット環境をローカルで試す。 本番環境の設計を採用する前に、クラウドGPUクラスター上でRAGのデプロイを試作する。
- rag-stack のインストール方法は?
- サンプルの env ファイルをコピーし、Supabase プロジェクトの URL とキーを追加します Supabase で、README に記載されているカラムを使って ragstack_users テーブルを作成します ローカル開発用スクリプトを実行して、サーバー、LLM、Qdrant を起動します: scripts/local/run-dev
- rag-stack はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/finic-ai/rag-stack
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Qdrant、SQLite、自己更新型Wikiを活用し、任意のLLMプロバイダーとローカル環境で動作する、Hermes Agent向けの7層メモリシステムです。
ローカルのOllamaモデルやOpenAI互換APIとチャットできる、RAG、プラグイン、複数ユーザーのアクセス制御に対応したセルフホスト型・プロバイダー非依存のWebインターフェース。
文書とのチャットやAIエージェントの実行に使える、ローカル優先・マルチユーザー対応のオールインワンAIアプリ
自社ドキュメントをもとに、出典を示しながら任意のモデルで質問に答えるAIエージェントやアシスタントを構築できるセルフホスト型プラットフォーム。
Qdrantベクトル検索エンジンの公式Pythonクライアントライブラリ。同期・非同期のREST/gRPC接続と、ローカルのインメモリモードに対応。