Repolode
Enviar
microsoft

microsoft/LLMLingua

Biblioteca Python da Microsoft que comprime prompts de LLM e KV cache em até 20x, removendo tokens não essenciais com perda mínima de desempenho.

Ver no GitHubSite
Estrelas
6,767
Forks
444
Issues abertas
125
Último commit
mês passado

O que é?

LLMLingua é um toolkit de compressão de prompts da Microsoft Research para modelos de linguagem grandes. Ele usa um modelo de linguagem pequeno e treinado para encontrar e remover tokens que pouco contribuem para o significado, encurtando prompts longos sem perder as informações principais. O projeto afirma alcançar uma compressão de até 20x com perda mínima de desempenho e também inclui compressão de KV cache para acelerar a inferência.

O repositório reúne uma série de métodos. LLMLingua é a abordagem original; LongLLMLingua é voltado a cenários com contexto longo e geração aumentada por recuperação (RAG), e lida com o problema de lost-in-the-middle; já LLMLingua-2 é um compressor independente da tarefa, desenvolvido como um classificador de tokens com um encoder no nível do BERT. Também há uma variante chamada SecurityLingua para detectar intenção de jailbreak. A compressão estruturada de prompts permite que os usuários marquem seções do prompt com diferentes taxas de compressão.

O uso é feito por meio de um pacote Python instalável com pip, que disponibiliza a classe PromptCompressor e os métodos compress_prompt e structured_compress_prompt. O projeto foi integrado ao Prompt flow, LangChain e LlamaIndex.

Recursos principais

  • 01Remove tokens não essenciais dos prompts para encurtá-los, com compressão de até 20x.
  • 02Comprime KV cache para acelerar a inferência de LLMs.
  • 03Oferece o LongLLMLingua para prompts com contexto longo e RAG.
  • 04Oferece o LLMLingua-2, um compressor mais rápido e independente da tarefa, baseado em um encoder no nível do BERT.
  • 05Oferece suporte à compressão estruturada, com taxas por seção definidas por meio de tags.
  • 06Pode ser instalado com pip e usado em Python.

Casos de uso

  • Fazer documentos longos ou trechos recuperados caberem em uma janela de contexto limitada de LLM em pipelines de RAG.
  • Reduzir custos de API em aplicações que enviam prompts longos para o GPT-4 ou modelos semelhantes.
  • Comprimir exemplos de chain-of-thought ou few-shot sem perder o conteúdo do raciocínio.
  • Detectar intenção de jailbreak em prompts de usuários com o modelo SecurityLingua.

Início rápido

  1. 1

    Instale LLMLingua pelo PyPI

    pip install llmlingua
  2. 2

    Importe PromptCompressor e comprima um prompt com o modelo padrão

Antes de usar

  • A qualidade da compressão depende do modelo escolhido, e algumas variantes precisam de uma GPU para ter um bom desempenho.
  • Algumas opções de modelo exigem pacotes adicionais, como optimum e auto-gptq para modelos quantizados.

Tópicos

#llm#prompt-compression#rag#kv-cache#inference-optimization#nlp#python

Perguntas frequentes

O que é LLMLingua?
Biblioteca Python da Microsoft que comprime prompts de LLM e KV cache em até 20x, removendo tokens não essenciais com perda mínima de desempenho. LLMLingua é um toolkit de compressão de prompts da Microsoft Research para modelos de linguagem grandes. Ele usa um modelo de linguagem pequeno e treinado para encontrar e remover tokens que pouco contribuem para o significado, encurtando prompts longos sem perder as informações principais. O projeto afirma alcançar uma compressão de até 20x com perda mínima de desempenho e também inclui compressão de KV cache para acelerar a inferência.
LLMLingua é gratuito? Qual é a licença?
LLMLingua é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
LLMLingua ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de LLMLingua foi em 10 de set. de 2026.
Para que posso usar LLMLingua?
Fazer documentos longos ou trechos recuperados caberem em uma janela de contexto limitada de LLM em pipelines de RAG. Reduzir custos de API em aplicações que enviam prompts longos para o GPT-4 ou modelos semelhantes. Comprimir exemplos de chain-of-thought ou few-shot sem perder o conteúdo do raciocínio. Detectar intenção de jailbreak em prompts de usuários com o modelo SecurityLingua.
Como instalar LLMLingua?
Instale LLMLingua pelo PyPI: pip install llmlingua Importe PromptCompressor e comprima um prompt com o modelo padrão
Onde consigo LLMLingua?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/LLMLingua

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados