Repolode
Предложить
docker

docker/genai-stack

Стартовый стек на Docker для создания GenAI-приложений с LangChain, Neo4j и Ollama: бот поддержки, ответы на вопросы по PDF и примеры API.

Открыть на GitHub
Звёзды
5,423
Форки
1,236
Открытые issues
99
Последний коммит
12 дней назад

Что это?

GenAI Stack — стартовый набор для создания приложений на базе генеративного ИИ с помощью Docker Compose. В нём LangChain отвечает за оркестрацию, Neo4j служит базой данных, где хранятся граф знаний и векторные эмбеддинги, а Ollama запускает локальные LLM. Вместо того чтобы собирать компоненты вручную, разработчики могут сразу начать с готовой конфигурации из нескольких сервисов.

В репозитории представлены пять демоприложений: бот поддержки, который сравнивает ответы с RAG и без него; загрузчик данных Stack Overflow в базу; приложение для вопросов по локальным PDF-файлам; отдельный HTTP API с потоковыми и непотоковыми эндпоинтами; и фронтенд на Svelte, который обращается к этому API. Настройки задаются в файле `.env`, где выбираются LLM и модель эмбеддингов.

LLM можно запускать в локальном экземпляре Ollama или использовать модели OpenAI, AWS Bedrock (Claude v2) и Google. Для контейнеров Ollama на Linux предусмотрены отдельные профили для CPU и GPU.

Ключевые возможности

  • 01Конфигурация Docker Compose, которая запускает LangChain, Neo4j и Ollama вместе
  • 02Neo4j хранит граф знаний и векторные эмбеддинги для поиска
  • 03Переключение между локальными моделями Ollama и моделями OpenAI, AWS Claude или Google для эмбеддингов через переменные окружения
  • 04Бот поддержки, сравнивающий ответы с RAG и ответы, сгенерированные только LLM
  • 05Отдельный HTTP API с эндпоинтом потоковой передачи через SSE
  • 06Фронтенд на Svelte, собранный с помощью Vite и Tailwind

Сценарии использования

  • Создание прототипа чат-бота с RAG на основе собственных документов или данных
  • Изучение способов сочетать граф знаний и векторный поиск в приложении на базе LLM
  • Общение с локальным PDF-файлом с помощью эмбеддингов и локальной модели
  • Предоставление отдельному фронтенду API для ответов на вопросы на базе LLM

Быстрый старт

  1. 1

    Создайте файл .env на основе шаблона env.example

  2. 2

    В macOS или Windows установите и запустите Ollama (ollama serve) в отдельном терминале

    ollama serve
  3. 3

    Запустите весь стек

    docker compose up
  4. 4

    Откройте Support Bot по адресу http://localhost:8501

Что важно знать

  • Требуются Docker и Docker Compose. В Docker Desktop 4.24.x есть известная проблема с производительностью, для устранения которой необходимо обновление.
  • Для использования локальных моделей Ollama в macOS и Windows нужно установить Ollama отдельно. Для вариантов GPT-4 и Claude требуются платные API-ключи.
  • Для некоторых конфигураций профиля Linux GPU требуется графический процессор.

В подборках

Частные базы знаний с ИИ и RAGЗапуск LLM локально

Темы

#genai#langchain#neo4j#ollama#docker#rag#vector-database#knowledge-graph

Частые вопросы

Что такое genai-stack?
Стартовый стек на Docker для создания GenAI-приложений с LangChain, Neo4j и Ollama: бот поддержки, ответы на вопросы по PDF и примеры API. GenAI Stack — стартовый набор для создания приложений на базе генеративного ИИ с помощью Docker Compose. В нём LangChain отвечает за оркестрацию, Neo4j служит базой данных, где хранятся граф знаний и векторные эмбеддинги, а Ollama запускает локальные LLM. Вместо того чтобы собирать компоненты вручную, разработчики могут сразу начать с готовой конфигурации из нескольких сервисов.
genai-stack можно использовать бесплатно? Какая у него лицензия?
genai-stack распространяется с открытым исходным кодом под лицензией CC0-1.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
genai-stack всё ещё поддерживается?
Активно поддерживается. Последний коммит в genai-stack — 26 окт. 2026 г..
Для чего можно использовать genai-stack?
Создание прототипа чат-бота с RAG на основе собственных документов или данных Изучение способов сочетать граф знаний и векторный поиск в приложении на базе LLM Общение с локальным PDF-файлом с помощью эмбеддингов и локальной модели Предоставление отдельному фронтенду API для ответов на вопросы на базе LLM
Как установить genai-stack?
Создайте файл .env на основе шаблона env.example В macOS или Windows установите и запустите Ollama (ollama serve) в отдельном терминале: ollama serve Запустите весь стек: docker compose up Откройте Support Bot по адресу http://localhost:8501
Где скачать genai-stack?
Исходный код и инструкции по установке — на GitHub: https://github.com/docker/genai-stack

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

HKUDS / LightRAG

Лёгкий фреймворк и сервер для RAG на основе графа знаний: индексирует документы, выделяя сущности и связи, чтобы LLM могла формировать ответы с дополненной генерацией.

ИИ и машинное обучение#rag#knowledge-graph#llm
40,6 тыс.+138 за неделю5,8 тыс.PythonMITОбновлён позавчера