Repolode
finic-ai

finic-ai/rag-stack

オープンソースLLMとQdrantを使い、手元のPDFや文書を対象としたChatGPT風のプライベートアシスタントを構築できるセルフホスト型RAGスタック。

代替できる製品:ChatGPT

スター
1,581
フォーク
137
未解決の Issue
27
最終コミット
26 日前

これは何?

RAGstackは、ホスト型のChatGPT風ツールに代わるプライベートな環境として、自社インフラ内で動かすことを想定した、デプロイ可能な検索拡張生成(RAG)スタックです。オープンソースLLM、ベクトルデータベースのQdrant、PDFをアップロードできるシンプルなWeb UIを備えたサーバーを組み合わせ、組織内の文書に基づいた回答を生成できます。

ローカルのCPUで動作するGPT4Allに対応しており、モデルをダウンロードしてサーバー、LLM、Qdrantをローカルで起動するセットアップを1つのスクリプトで実行できます。クラウドへのデプロイには、Google Cloud(GPU搭載GKE)、AWS(EC2上のECS)、Azure(AKS)向けのTerraformベースのスクリプトが用意されており、Falcon-7Bをデプロイします。クラウド環境ではLlama 2もサポート対象とされていますが、Llama-2-40bへの対応はロードマップ上の項目です。

このプロジェクトはレガシー扱いで、開発者による保守は終了しています。また、ローカル環境のセットアップにも、ユーザー情報の保存に使うSupabaseプロジェクトが必要です。

主な機能

  • 01手元の文書を対象とした、プライベートなセルフホスト型チャットインターフェースをデプロイできます。
  • 02Rust製のオープンソースベクトルデータベースQdrantを検索に使用します。
  • 03ローカルCPUでの推論にはGPT4All、GPU環境ではFalcon-7BまたはLlama 2を利用できます。
  • 04PDFアップロードに対応したサーバーとWeb UIを備えています。
  • 05GCP、AWS、Azure向けのTerraformベースのデプロイスクリプトを提供します。

ユースケース

  • 社内のPDFや契約書を対象にした、社内向け質問応答アシスタントの構築。
  • データをホスト型APIに送信せずに、RAGチャット環境をローカルで試す。
  • 本番環境の設計を採用する前に、クラウドGPUクラスター上でRAGのデプロイを試作する。

クイックスタート

  1. 1

    サンプルの env ファイルをコピーし、Supabase プロジェクトの URL とキーを追加します

  2. 2

    Supabase で、README に記載されているカラムを使って ragstack_users テーブルを作成します

  3. 3

    ローカル開発用スクリプトを実行して、サーバー、LLM、Qdrant を起動します

    scripts/local/run-dev

使う前に知っておきたいこと

  • README によると、このレガシープロジェクトは現在メンテナンスされていません。
  • ローカル環境のセットアップには、Supabase プロジェクトとテーブルの手動設定が必要です。
  • Falcon-7B をクラウドにデプロイするには、GPU 対応クラスターとクラウドアカウントが必要です。

収録されている特集

トピック

よくある質問

rag-stack とは?
オープンソースLLMとQdrantを使い、手元のPDFや文書を対象としたChatGPT風のプライベートアシスタントを構築できるセルフホスト型RAGスタック。 RAGstackは、ホスト型のChatGPT風ツールに代わるプライベートな環境として、自社インフラ内で動かすことを想定した、デプロイ可能な検索拡張生成(RAG)スタックです。オープンソースLLM、ベクトルデータベースのQdrant、PDFをアップロードできるシンプルなWeb UIを備えたサーバーを組み合わせ、組織内の文書に基づいた回答を生成できます。
rag-stack は無料で使えますか?ライセンスは?
rag-stack は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
rag-stack は今もメンテナンスされていますか?
活発にメンテナンス中。rag-stack の最終コミットは 2026年10月12日 です。
rag-stack は何に使えますか?
社内のPDFや契約書を対象にした、社内向け質問応答アシスタントの構築。 データをホスト型APIに送信せずに、RAGチャット環境をローカルで試す。 本番環境の設計を採用する前に、クラウドGPUクラスター上でRAGのデプロイを試作する。
rag-stack のインストール方法は?
サンプルの env ファイルをコピーし、Supabase プロジェクトの URL とキーを追加します Supabase で、README に記載されているカラムを使って ragstack_users テーブルを作成します ローカル開発用スクリプトを実行して、サーバー、LLM、Qdrant を起動します: scripts/local/run-dev
rag-stack はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/finic-ai/rag-stack

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト