Бэкенд на FastAPI для разговорного RAG-агента: загружает документы в Qdrant, выполняет семантический и гибридный поиск и отвечает на вопросы с помощью LLM.
finic-ai/rag-stack
Самостоятельно разворачиваемый RAG-стек для приватного помощника в стиле ChatGPT на основе ваших PDF и документов, open-source LLM и Qdrant.
Open source альтернатива:ChatGPT
- Звёзды
- 1,581
- Форки
- 137
- Открытые issues
- 27
- Последний коммит
- 26 дней назад
Что это?
RAGstack — стек для развёртывания retrieval-augmented generation внутри собственной инфраструктуры, который служит приватной альтернативой размещённым в облаке инструментам в стиле ChatGPT. Он объединяет open-source LLM, векторную базу данных Qdrant и сервер с простым веб-интерфейсом для загрузки PDF, чтобы ответы опирались на документы вашей организации.
Для локального запуска на CPU проект поддерживает GPT4All: достаточно выполнить один скрипт, который скачивает модель и запускает локально сервер, LLM и Qdrant. Для развёртывания в облаке доступны скрипты на Terraform для Google Cloud (GKE с GPU), AWS (ECS на EC2) и Azure (AKS); они разворачивают Falcon-7B. Вариант с Llama 2 указан как поддерживаемый для развёртывания в облаке, а поддержка Llama-2-40b пока остаётся в планах.
Проект помечен как устаревший, и авторы больше его не поддерживают. Для локальной настройки также требуется проект Supabase для хранения записей пользователей.
Ключевые возможности
- 01Разворачивает приватный чат-интерфейс на собственной инфраструктуре для работы с вашими документами.
- 02Использует Qdrant — векторную базу данных с открытым исходным кодом, написанную на Rust, — для поиска.
- 03Поддерживает GPT4All для локального инференса на CPU, а также Falcon-7B или Llama 2 на GPU.
- 04Включает сервер и веб-интерфейс с возможностью загружать PDF.
- 05Предоставляет скрипты развёртывания на Terraform для GCP, AWS и Azure.
Сценарии использования
- Создание внутреннего помощника для ответов на вопросы по PDF-файлам компании и договорам.
- Локальное тестирование RAG-чата без отправки данных в размещённые в облаке API.
- Прототипирование развёртывания RAG в облачном GPU-кластере перед выбором архитектуры для production.
Быстрый старт
- 1
Скопируйте примеры env-файлов и добавьте URL и ключи проекта Supabase
- 2
В Supabase создайте таблицу ragstack_users со столбцами, перечисленными в README
- 3
Запустите локальный скрипт разработки, чтобы запустить сервер, LLM и Qdrant
scripts/local/run-dev
Что важно знать
- Согласно README, этот устаревший проект больше не поддерживается.
- Для локальной настройки нужны проект Supabase и ручная конфигурация таблицы.
- Для развертывания Falcon-7B в облаке нужны кластеры с GPU и облачные аккаунты.
В подборках
Темы
Частые вопросы
- Что такое rag-stack?
- Самостоятельно разворачиваемый RAG-стек для приватного помощника в стиле ChatGPT на основе ваших PDF и документов, open-source LLM и Qdrant. RAGstack — стек для развёртывания retrieval-augmented generation внутри собственной инфраструктуры, который служит приватной альтернативой размещённым в облаке инструментам в стиле ChatGPT. Он объединяет open-source LLM, векторную базу данных Qdrant и сервер с простым веб-интерфейсом для загрузки PDF, чтобы ответы опирались на документы вашей организации.
- rag-stack можно использовать бесплатно? Какая у него лицензия?
- rag-stack распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- rag-stack всё ещё поддерживается?
- Активно поддерживается. Последний коммит в rag-stack — 12 окт. 2026 г..
- Для чего можно использовать rag-stack?
- Создание внутреннего помощника для ответов на вопросы по PDF-файлам компании и договорам. Локальное тестирование RAG-чата без отправки данных в размещённые в облаке API. Прототипирование развёртывания RAG в облачном GPU-кластере перед выбором архитектуры для production.
- Как установить rag-stack?
- Скопируйте примеры env-файлов и добавьте URL и ключи проекта Supabase В Supabase создайте таблицу ragstack_users со столбцами, перечисленными в README Запустите локальный скрипт разработки, чтобы запустить сервер, LLM и Qdrant: scripts/local/run-dev
- Где скачать rag-stack?
- Исходный код и инструкции по установке — на GitHub: https://github.com/finic-ai/rag-stack
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Семислойная система памяти для Hermes Agent, которая сохраняет контекст между сессиями с помощью Qdrant, SQLite и самообновляемой wiki и работает локально с любым LLM-провайдером.
Самостоятельно размещаемый интерфейс для общения с локальными моделями Ollama и API, совместимыми с OpenAI: без привязки к провайдерам, с RAG, плагинами и доступом для нескольких пользователей.
Универсальное AI-приложение для общения с документами и запуска AI-агентов: локальная работа, поддержка нескольких пользователей и множество LLM-провайдеров.
Платформа для самостоятельного развёртывания AI-агентов и ассистентов, которые отвечают на вопросы по вашим документам со ссылками на источники и работают с любой моделью.
Официальная Python-библиотека клиента для векторного поискового движка Qdrant: синхронный и асинхронный доступ по REST/gRPC и локальный режим в памяти.