Repolode
finic-ai

finic-ai/rag-stack

Самостоятельно разворачиваемый RAG-стек для приватного помощника в стиле ChatGPT на основе ваших PDF и документов, open-source LLM и Qdrant.

Open source альтернатива:ChatGPT

Звёзды
1,581
Форки
137
Открытые issues
27
Последний коммит
26 дней назад

Что это?

RAGstack — стек для развёртывания retrieval-augmented generation внутри собственной инфраструктуры, который служит приватной альтернативой размещённым в облаке инструментам в стиле ChatGPT. Он объединяет open-source LLM, векторную базу данных Qdrant и сервер с простым веб-интерфейсом для загрузки PDF, чтобы ответы опирались на документы вашей организации.

Для локального запуска на CPU проект поддерживает GPT4All: достаточно выполнить один скрипт, который скачивает модель и запускает локально сервер, LLM и Qdrant. Для развёртывания в облаке доступны скрипты на Terraform для Google Cloud (GKE с GPU), AWS (ECS на EC2) и Azure (AKS); они разворачивают Falcon-7B. Вариант с Llama 2 указан как поддерживаемый для развёртывания в облаке, а поддержка Llama-2-40b пока остаётся в планах.

Проект помечен как устаревший, и авторы больше его не поддерживают. Для локальной настройки также требуется проект Supabase для хранения записей пользователей.

Ключевые возможности

  • 01Разворачивает приватный чат-интерфейс на собственной инфраструктуре для работы с вашими документами.
  • 02Использует Qdrant — векторную базу данных с открытым исходным кодом, написанную на Rust, — для поиска.
  • 03Поддерживает GPT4All для локального инференса на CPU, а также Falcon-7B или Llama 2 на GPU.
  • 04Включает сервер и веб-интерфейс с возможностью загружать PDF.
  • 05Предоставляет скрипты развёртывания на Terraform для GCP, AWS и Azure.

Сценарии использования

  • Создание внутреннего помощника для ответов на вопросы по PDF-файлам компании и договорам.
  • Локальное тестирование RAG-чата без отправки данных в размещённые в облаке API.
  • Прототипирование развёртывания RAG в облачном GPU-кластере перед выбором архитектуры для production.

Быстрый старт

  1. 1

    Скопируйте примеры env-файлов и добавьте URL и ключи проекта Supabase

  2. 2

    В Supabase создайте таблицу ragstack_users со столбцами, перечисленными в README

  3. 3

    Запустите локальный скрипт разработки, чтобы запустить сервер, LLM и Qdrant

    scripts/local/run-dev

Что важно знать

  • Согласно README, этот устаревший проект больше не поддерживается.
  • Для локальной настройки нужны проект Supabase и ручная конфигурация таблицы.
  • Для развертывания Falcon-7B в облаке нужны кластеры с GPU и облачные аккаунты.

В подборках

Темы

Частые вопросы

Что такое rag-stack?
Самостоятельно разворачиваемый RAG-стек для приватного помощника в стиле ChatGPT на основе ваших PDF и документов, open-source LLM и Qdrant. RAGstack — стек для развёртывания retrieval-augmented generation внутри собственной инфраструктуры, который служит приватной альтернативой размещённым в облаке инструментам в стиле ChatGPT. Он объединяет open-source LLM, векторную базу данных Qdrant и сервер с простым веб-интерфейсом для загрузки PDF, чтобы ответы опирались на документы вашей организации.
rag-stack можно использовать бесплатно? Какая у него лицензия?
rag-stack распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
rag-stack всё ещё поддерживается?
Активно поддерживается. Последний коммит в rag-stack — 12 окт. 2026 г..
Для чего можно использовать rag-stack?
Создание внутреннего помощника для ответов на вопросы по PDF-файлам компании и договорам. Локальное тестирование RAG-чата без отправки данных в размещённые в облаке API. Прототипирование развёртывания RAG в облачном GPU-кластере перед выбором архитектуры для production.
Как установить rag-stack?
Скопируйте примеры env-файлов и добавьте URL и ключи проекта Supabase В Supabase создайте таблицу ragstack_users со столбцами, перечисленными в README Запустите локальный скрипт разработки, чтобы запустить сервер, LLM и Qdrant: scripts/local/run-dev
Где скачать rag-stack?
Исходный код и инструкции по установке — на GitHub: https://github.com/finic-ai/rag-stack

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Семислойная система памяти для Hermes Agent, которая сохраняет контекст между сессиями с помощью Qdrant, SQLite и самообновляемой wiki и работает локально с любым LLM-провайдером.

1,4 тыс.+10 за неделю132PythonMITОбновлён 2 месяца назад

Самостоятельно размещаемый интерфейс для общения с локальными моделями Ollama и API, совместимыми с OpenAI: без привязки к провайдерам, с RAG, плагинами и доступом для нескольких пользователей.

158 тыс.+636 за неделю23 тыс.PythonOtherАктивно поддерживаетсяОбновлён 4 часа назад

Универсальное AI-приложение для общения с документами и запуска AI-агентов: локальная работа, поддержка нескольких пользователей и множество LLM-провайдеров.

68 тыс.+248 за неделю7,7 тыс.JavaScriptMITАктивно поддерживаетсяОбновлён 18 часов назад

Платформа для самостоятельного развёртывания AI-агентов и ассистентов, которые отвечают на вопросы по вашим документам со ссылками на источники и работают с любой моделью.

18,4 тыс.+12 за неделю2,2 тыс.PythonMITАктивно поддерживаетсяОбновлён 4 часа назад

Официальная Python-библиотека клиента для векторного поискового движка Qdrant: синхронный и асинхронный доступ по REST/gRPC и локальный режим в памяти.

1,4 тыс.+3 за неделю389PythonApache-2.0Активно поддерживаетсяОбновлён 4 дня назад