Локальный inference-сервер, который через OpenAI-совместимый API обслуживает модели эмбеддингов, reranking, OCR, извлечения данных, безопасности и LLM из одного кластера.
superlinear-ai/raglite
Набор инструментов на Python для Retrieval-Augmented Generation: хранение и поиск документов в DuckDB или PostgreSQL.
- Звёзды
- 1,211
- Форки
- 116
- Открытые issues
- 17
- Последний коммит
- 5 дней назад
Что это?
RAGLite — набор инструментов на Python для построения пайплайнов Retrieval-Augmented Generation. Он преобразует PDF и другие документы в Markdown, разбивает их на фрагменты, создаёт эмбеддинги и сохраняет всё в DuckDB или PostgreSQL. Затем можно находить релевантные фрагменты и передавать их LLM для ответов на вопросы.
Поиск объединяет встроенный в базы данных поиск по ключевым словам и векторный поиск (FTS с VSS в DuckDB, tsvector с pgvector в PostgreSQL); результаты можно пересортировать с помощью настраиваемого reranker. Доступ к LLM и моделям для создания эмбеддингов осуществляется через LiteLLM, в том числе к локальным моделям llama.cpp через llama-cpp-python. При этом проект обходится без тяжёлых зависимостей вроде PyTorch и LangChain.
Помимо базового поиска, RAGLite предлагает опциональный адаптер запросов, рассчитанный на данных для оценки, фильтрацию по метаданным, встроенный MCP-сервер для таких клиентов, как Claude desktop, и чат-интерфейс на базе Chainlit. Оценивать поиск и генерацию с помощью Ragas можно, установив дополнительную зависимость.
Ключевые возможности
- 01Храните и ищите документы в DuckDB или PostgreSQL с гибридным поиском по ключевым словам и векторным поиском.
- 02Используйте любую LLM или модель для создания эмбеддингов, поддерживаемую LiteLLM, включая локальные модели llama.cpp.
- 03Пересортировывайте найденные фрагменты с помощью reranker; по умолчанию используется FlashRank.
- 04Преобразуйте PDF в Markdown и при необходимости обрабатывайте другие форматы через Pandoc или Mistral OCR.
- 05Фильтруйте результаты поиска по метаданным документов.
- 06Предоставляйте поиск как инструмент MCP и запускайте дополнительный чат-интерфейс на базе Chainlit.
Сценарии использования
- Создание помощника для ответов на вопросы по частной коллекции PDF- или Markdown-документов.
- Запуск полностью локальной RAG-системы с DuckDB и моделью llama.cpp.
- Добавление инструмента поиска по базе знаний в Claude desktop через MCP.
- Эксперименты со стратегиями поиска и их оценка с помощью Ragas.
Быстрый старт
- 1
Установите RAGLite из PyPI
pip install raglite - 2
Настройте RAGLite для работы с базой данных DuckDB или PostgreSQL и LLM в Python
Что важно знать
- Лицензия MPL-2.0 — это копилефт-лицензия на уровне файлов, требующая публиковать изменения исходных файлов.
- Для локальных моделей llama.cpp необходимо отдельно установить сборку llama-cpp-python, совместимую с вашей версией Python и платформой.
- Для некоторых функций, таких как Cohere reranker и Mistral OCR, нужны внешние API-ключи.
В подборках
Темы
Частые вопросы
- Что такое raglite?
- Набор инструментов на Python для Retrieval-Augmented Generation: хранение и поиск документов в DuckDB или PostgreSQL. RAGLite — набор инструментов на Python для построения пайплайнов Retrieval-Augmented Generation. Он преобразует PDF и другие документы в Markdown, разбивает их на фрагменты, создаёт эмбеддинги и сохраняет всё в DuckDB или PostgreSQL. Затем можно находить релевантные фрагменты и передавать их LLM для ответов на вопросы.
- raglite можно использовать бесплатно? Какая у него лицензия?
- raglite распространяется с открытым исходным кодом под лицензией MPL-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- raglite всё ещё поддерживается?
- Активно поддерживается. Последний коммит в raglite — 1 нояб. 2026 г..
- Для чего можно использовать raglite?
- Создание помощника для ответов на вопросы по частной коллекции PDF- или Markdown-документов. Запуск полностью локальной RAG-системы с DuckDB и моделью llama.cpp. Добавление инструмента поиска по базе знаний в Claude desktop через MCP. Эксперименты со стратегиями поиска и их оценка с помощью Ragas.
- Как установить raglite?
- Установите RAGLite из PyPI: pip install raglite Настройте RAGLite для работы с базой данных DuckDB или PostgreSQL и LLM в Python
- Где скачать raglite?
- Исходный код и инструкции по установке — на GitHub: https://github.com/superlinear-ai/raglite
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
RAG-чат-приложение отвечает на вопросы на естественном языке о строках таблицы PostgreSQL с помощью поиска через pgvector и моделей OpenAI; приложение можно развернуть в Azure.
Опенсорсный RAG-движок, объединяющий генерацию с дополненной выборкой и возможности агентов, чтобы обеспечить контекстный слой для приложений на базе LLM.
Универсальный расширяемый RAG-фреймворк для LLM-приложений, отвечающих на вопросы по вашим данным; включает React-интерфейс и сервер на Python.
Самостоятельно размещаемая база знаний на Rust, которая строит бивременной граф знаний по документам, поддерживает RAG-поиск, рассуждения на основе онтологий и доступ для агентов через MCP.
Эталонная реализация RAG-Fusion на Python: переписывание запросов с помощью LLM, поиск BM25 и векторный поиск, Reciprocal Rank Fusion и инструментарий для оценки на NFCorpus.