microsoft/LLMLingua

Что это?

Ключевые возможности

• 01Удаляет из промптов несущественные токены, сокращая их размер до 20 раз.
• 02Сжимает KV cache для ускорения инференса LLM.
• 03Предоставляет LongLLMLingua для промптов с длинным контекстом и RAG.
• 04Предоставляет LLMLingua-2 — более быстрый не зависящий от задачи компрессор на основе энкодера уровня BERT.
• 05Поддерживает структурированное сжатие: для разделов можно задавать разные коэффициенты с помощью тегов.
• 06Устанавливается через pip и используется из Python.

Сценарии использования

• Умещать длинные документы или найденные фрагменты в ограниченное контекстное окно LLM в RAG-пайплайнах.
• Снижать расходы на API в приложениях, отправляющих длинные промпты в GPT-4 или аналогичные модели.
• Сжимать цепочки рассуждений или примеры few-shot, сохраняя содержание рассуждений.
• Обнаруживать намерения взломать защиту модели в пользовательских промптах с помощью модели SecurityLingua.

Быстрый старт

1. 1

   Установите LLMLingua из PyPI

   pip install llmlingua
2. 2

   Импортируйте PromptCompressor и сожмите prompt с помощью модели по умолчанию

Что важно знать

• !Качество сжатия зависит от выбранной модели, а для хорошей скорости некоторым вариантам нужен GPU.
• !Для некоторых вариантов модели требуются дополнительные пакеты, например optimum и auto-gptq для квантованных моделей.

Темы

Частые вопросы

Что такое LLMLingua?

Библиотека Microsoft для Python сжимает промпты LLM и KV cache до 20 раз, удаляя несущественные токены и практически не теряя в качестве. LLMLingua — набор инструментов для сжатия промптов для больших языковых моделей от Microsoft Research. Он использует небольшую обученную языковую модель, чтобы находить и удалять токены, мало влияющие на смысл. Так длинные промпты становятся короче, а ключевая информация сохраняется. По заявлению проекта, сжатие достигает 20 раз при минимальной потере качества; кроме того, он умеет сжимать KV cache, ускоряя инференс.

LLMLingua можно использовать бесплатно? Какая у него лицензия?

LLMLingua распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LLMLingua всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в LLMLingua — 10 сент. 2026 г..

Для чего можно использовать LLMLingua?

Умещать длинные документы или найденные фрагменты в ограниченное контекстное окно LLM в RAG-пайплайнах. Снижать расходы на API в приложениях, отправляющих длинные промпты в GPT-4 или аналогичные модели. Сжимать цепочки рассуждений или примеры few-shot, сохраняя содержание рассуждений. Обнаруживать намерения взломать защиту модели в пользовательских промптах с помощью модели SecurityLingua.

Как установить LLMLingua?

Установите LLMLingua из PyPI: pip install llmlingua Импортируйте PromptCompressor и сожмите prompt с помощью модели по умолчанию

Где скачать LLMLingua?

Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/LLMLingua