문서를 Qdrant에 임베딩하고 시맨틱 및 하이브리드 검색을 수행해 LLM으로 답변하는 대화형 RAG 에이전트용 FastAPI 백엔드입니다.
finic-ai/rag-stack
오픈소스 LLM과 Qdrant를 사용해 자체 PDF와 문서에 기반한 비공개 ChatGPT 스타일 어시스턴트를 배포하는 셀프 호스팅 RAG 스택입니다.
대체할 수 있는 제품:ChatGPT
- 스타
- 1,581
- 포크
- 137
- 열린 이슈
- 27
- 마지막 커밋
- 26일 전
어떤 프로젝트인가요?
RAGstack은 호스팅형 ChatGPT 스타일 도구를 대체하는 비공개 솔루션으로, 자체 인프라에서 실행하도록 설계된 배포형 검색 증강 생성 스택입니다. 오픈소스 LLM, Qdrant 벡터 데이터베이스, PDF 업로드를 지원하는 간단한 웹 UI가 포함된 서버를 결합해 조직의 문서를 근거로 답변할 수 있습니다.
이 프로젝트는 로컬 CPU에서 실행할 수 있도록 GPT4All을 지원하며, 스크립트 하나로 모델을 다운로드하고 서버, LLM, Qdrant를 로컬에서 시작할 수 있습니다. 클라우드 배포용으로는 Google Cloud(GPU를 사용하는 GKE), AWS(EC2 기반 ECS), Azure(AKS)에 Falcon-7B를 배포하는 Terraform 기반 스크립트를 제공합니다. 클라우드 배포 경로에서 Llama 2도 지원하는 것으로 안내되어 있으며, Llama-2-40b 지원은 아직 로드맵에 있습니다.
이 프로젝트는 레거시로 표시되어 있으며, 작성자는 더 이상 유지 관리하지 않습니다. 로컬 설정에도 사용자 정보를 저장할 Supabase 프로젝트가 필요합니다.
핵심 기능
- 01자체 문서를 대상으로 하는 비공개 셀프 호스팅 채팅 인터페이스를 배포합니다.
- 02검색을 위해 Rust 기반 오픈소스 벡터 데이터베이스인 Qdrant를 사용합니다.
- 03로컬 CPU 추론에는 GPT4All을, GPU에서는 Falcon-7B 또는 Llama 2를 지원합니다.
- 04PDF 업로드를 지원하는 서버와 웹 UI를 제공합니다.
- 05GCP, AWS, Azure 배포를 위한 Terraform 기반 스크립트를 제공합니다.
활용 사례
- 회사 PDF와 계약서를 바탕으로 답변하는 내부 어시스턴트를 구축합니다.
- 호스팅 API로 데이터를 전송하지 않고 로컬에서 검색 증강 채팅 환경을 시험합니다.
- 프로덕션 설계를 채택하기 전에 클라우드 GPU 클러스터에서 RAG 배포를 프로토타이핑합니다.
빠른 시작
- 1
예제 env 파일을 복사하고 Supabase 프로젝트 URL과 키를 추가합니다
- 2
Supabase에서 README에 나열된 열을 사용해 ragstack_users 테이블을 만듭니다
- 3
로컬 개발 스크립트를 실행해 서버, LLM, Qdrant를 시작합니다
scripts/local/run-dev
사용 전 알아둘 점
- README에 따르면 이 레거시 프로젝트는 더 이상 유지 관리되지 않습니다.
- 로컬 설정에는 Supabase 프로젝트와 테이블의 수동 구성이 필요합니다.
- Falcon-7B를 클라우드에 배포하려면 GPU 지원 클러스터와 클라우드 계정이 필요합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- rag-stack은(는) 무엇인가요?
- 오픈소스 LLM과 Qdrant를 사용해 자체 PDF와 문서에 기반한 비공개 ChatGPT 스타일 어시스턴트를 배포하는 셀프 호스팅 RAG 스택입니다. RAGstack은 호스팅형 ChatGPT 스타일 도구를 대체하는 비공개 솔루션으로, 자체 인프라에서 실행하도록 설계된 배포형 검색 증강 생성 스택입니다. 오픈소스 LLM, Qdrant 벡터 데이터베이스, PDF 업로드를 지원하는 간단한 웹 UI가 포함된 서버를 결합해 조직의 문서를 근거로 답변할 수 있습니다.
- rag-stack은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- rag-stack은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- rag-stack은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. rag-stack의 마지막 커밋은 2026년 10월 12일입니다.
- rag-stack은(는) 어디에 사용할 수 있나요?
- 회사 PDF와 계약서를 바탕으로 답변하는 내부 어시스턴트를 구축합니다. 호스팅 API로 데이터를 전송하지 않고 로컬에서 검색 증강 채팅 환경을 시험합니다. 프로덕션 설계를 채택하기 전에 클라우드 GPU 클러스터에서 RAG 배포를 프로토타이핑합니다.
- rag-stack는 어떻게 설치하나요?
- 예제 env 파일을 복사하고 Supabase 프로젝트 URL과 키를 추가합니다 Supabase에서 README에 나열된 열을 사용해 ragstack_users 테이블을 만듭니다 로컬 개발 스크립트를 실행해 서버, LLM, Qdrant를 시작합니다: scripts/local/run-dev
- rag-stack은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/finic-ai/rag-stack
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Qdrant, SQLite, 자체 정리형 위키를 활용해 세션 간 맥락을 유지하고, 로컬에서 어떤 LLM 제공자와도 실행할 수 있는 Hermes Agent용 7계층 메모리 시스템입니다.
로컬 Ollama 모델 및 OpenAI 호환 API와 채팅할 수 있는 자체 호스팅·제공자 독립형 웹 인터페이스로, RAG, 플러그인, 다중 사용자 접근 제어를 지원합니다.
문서 채팅과 AI 에이전트 실행을 위한 올인원 AI 앱으로, 로컬 우선 설정과 다중 사용자 및 다양한 LLM 제공자를 지원합니다.
자체 호스팅 환경에서 문서를 바탕으로 출처를 제시하며 질문에 답하는 AI 에이전트와 어시스턴트를 어떤 모델로든 구축할 수 있는 플랫폼입니다.
Qdrant 벡터 검색 엔진의 공식 Python 클라이언트 라이브러리로, 동기·비동기 REST/gRPC 액세스와 로컬 인메모리 모드를 제공합니다.