Repolode
superlinear-ai

superlinear-ai/raglite

Набор инструментов на Python для Retrieval-Augmented Generation: хранение и поиск документов в DuckDB или PostgreSQL.

Звёзды
1,211
Форки
116
Открытые issues
17
Последний коммит
5 дней назад

Что это?

RAGLite — набор инструментов на Python для построения пайплайнов Retrieval-Augmented Generation. Он преобразует PDF и другие документы в Markdown, разбивает их на фрагменты, создаёт эмбеддинги и сохраняет всё в DuckDB или PostgreSQL. Затем можно находить релевантные фрагменты и передавать их LLM для ответов на вопросы.

Поиск объединяет встроенный в базы данных поиск по ключевым словам и векторный поиск (FTS с VSS в DuckDB, tsvector с pgvector в PostgreSQL); результаты можно пересортировать с помощью настраиваемого reranker. Доступ к LLM и моделям для создания эмбеддингов осуществляется через LiteLLM, в том числе к локальным моделям llama.cpp через llama-cpp-python. При этом проект обходится без тяжёлых зависимостей вроде PyTorch и LangChain.

Помимо базового поиска, RAGLite предлагает опциональный адаптер запросов, рассчитанный на данных для оценки, фильтрацию по метаданным, встроенный MCP-сервер для таких клиентов, как Claude desktop, и чат-интерфейс на базе Chainlit. Оценивать поиск и генерацию с помощью Ragas можно, установив дополнительную зависимость.

Ключевые возможности

  • 01Храните и ищите документы в DuckDB или PostgreSQL с гибридным поиском по ключевым словам и векторным поиском.
  • 02Используйте любую LLM или модель для создания эмбеддингов, поддерживаемую LiteLLM, включая локальные модели llama.cpp.
  • 03Пересортировывайте найденные фрагменты с помощью reranker; по умолчанию используется FlashRank.
  • 04Преобразуйте PDF в Markdown и при необходимости обрабатывайте другие форматы через Pandoc или Mistral OCR.
  • 05Фильтруйте результаты поиска по метаданным документов.
  • 06Предоставляйте поиск как инструмент MCP и запускайте дополнительный чат-интерфейс на базе Chainlit.

Сценарии использования

  • Создание помощника для ответов на вопросы по частной коллекции PDF- или Markdown-документов.
  • Запуск полностью локальной RAG-системы с DuckDB и моделью llama.cpp.
  • Добавление инструмента поиска по базе знаний в Claude desktop через MCP.
  • Эксперименты со стратегиями поиска и их оценка с помощью Ragas.

Быстрый старт

  1. 1

    Установите RAGLite из PyPI

    pip install raglite
  2. 2

    Настройте RAGLite для работы с базой данных DuckDB или PostgreSQL и LLM в Python

Что важно знать

  • Лицензия MPL-2.0 — это копилефт-лицензия на уровне файлов, требующая публиковать изменения исходных файлов.
  • Для локальных моделей llama.cpp необходимо отдельно установить сборку llama-cpp-python, совместимую с вашей версией Python и платформой.
  • Для некоторых функций, таких как Cohere reranker и Mistral OCR, нужны внешние API-ключи.

В подборках

Темы

Частые вопросы

Что такое raglite?
Набор инструментов на Python для Retrieval-Augmented Generation: хранение и поиск документов в DuckDB или PostgreSQL. RAGLite — набор инструментов на Python для построения пайплайнов Retrieval-Augmented Generation. Он преобразует PDF и другие документы в Markdown, разбивает их на фрагменты, создаёт эмбеддинги и сохраняет всё в DuckDB или PostgreSQL. Затем можно находить релевантные фрагменты и передавать их LLM для ответов на вопросы.
raglite можно использовать бесплатно? Какая у него лицензия?
raglite распространяется с открытым исходным кодом под лицензией MPL-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
raglite всё ещё поддерживается?
Активно поддерживается. Последний коммит в raglite — 1 нояб. 2026 г..
Для чего можно использовать raglite?
Создание помощника для ответов на вопросы по частной коллекции PDF- или Markdown-документов. Запуск полностью локальной RAG-системы с DuckDB и моделью llama.cpp. Добавление инструмента поиска по базе знаний в Claude desktop через MCP. Эксперименты со стратегиями поиска и их оценка с помощью Ragas.
Как установить raglite?
Установите RAGLite из PyPI: pip install raglite Настройте RAGLite для работы с базой данных DuckDB или PostgreSQL и LLM в Python
Где скачать raglite?
Исходный код и инструкции по установке — на GitHub: https://github.com/superlinear-ai/raglite

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Локальный inference-сервер, который через OpenAI-совместимый API обслуживает модели эмбеддингов, reranking, OCR, извлечения данных, безопасности и LLM из одного кластера.

3,5 тыс.+20 за неделю333PythonApache-2.0Активно поддерживаетсяОбновлён 20 часов назад

Опенсорсный RAG-движок, объединяющий генерацию с дополненной выборкой и возможности агентов, чтобы обеспечить контекстный слой для приложений на базе LLM.

93,6 тыс.+520 за неделю11,2 тыс.GoApache-2.0Активно поддерживаетсяОбновлён вчера

Самостоятельно размещаемая база знаний на Rust, которая строит бивременной граф знаний по документам, поддерживает RAG-поиск, рассуждения на основе онтологий и доступ для агентов через MCP.

8,7 тыс.+62 за неделю1,2 тыс.RustApache-2.0Активно поддерживаетсяОбновлён позавчера