Repolode
Enviar
microsoft

microsoft/LLMLingua

Biblioteca de Python de Microsoft que comprime prompts de LLM y la KV cache hasta 20 veces al eliminar tokens no esenciales, con una pérdida mínima de rendimiento.

Ver en GitHubSitio web
Estrellas
6,767
Forks
444
Issues abiertos
125
Último commit
el mes pasado

¿Qué es?

LLMLingua es un kit de herramientas de Microsoft Research para comprimir prompts destinados a modelos de lenguaje grandes. Usa un modelo de lenguaje pequeño y entrenado para detectar y eliminar tokens que aportan poco significado, de modo que los prompts largos sean más breves sin perder la información clave. El proyecto afirma que puede comprimir hasta 20 veces con una pérdida mínima de rendimiento, y también incluye compresión de KV cache para acelerar la inferencia.

El repositorio reúne varios métodos. LLMLingua es el enfoque original; LongLLMLingua está pensado para escenarios de contexto largo y generación aumentada por recuperación (RAG), y aborda el problema de la información que se pierde en medio del contexto; LLMLingua-2 es un compresor independiente de la tarea, implementado como clasificador de tokens con un codificador del nivel de BERT. También incluye una variante, SecurityLingua, para detectar la intención de jailbreak. La compresión estructurada de prompts permite asignar distintas tasas de compresión a las secciones mediante etiquetas.

Se usa mediante un paquete de Python que se instala con pip y ofrece la clase PromptCompressor, con los métodos compress_prompt y structured_compress_prompt. El proyecto se ha integrado con Prompt flow, LangChain y LlamaIndex.

Funciones clave

  • 01Elimina tokens no esenciales de los prompts para acortarlos, con una compresión de hasta 20 veces.
  • 02Comprime la KV cache para acelerar la inferencia de LLM.
  • 03Ofrece LongLLMLingua para prompts de contexto largo y RAG.
  • 04Ofrece LLMLingua-2, un compresor más rápido e independiente de la tarea, basado en un codificador del nivel de BERT.
  • 05Admite la compresión estructurada con tasas por sección mediante etiquetas.
  • 06Se instala con pip y se puede usar desde Python.

Casos de uso

  • Ajustar documentos largos o pasajes recuperados a una ventana de contexto limitada de un LLM en pipelines de RAG.
  • Reducir los costos de API de aplicaciones que envían prompts largos a GPT-4 u otros modelos similares.
  • Comprimir cadenas de pensamiento o ejemplos few-shot sin perder el contenido del razonamiento.
  • Detectar la intención de jailbreak en prompts de usuario con el modelo SecurityLingua.

Inicio rápido

  1. 1

    Instala LLMLingua desde PyPI

    pip install llmlingua
  2. 2

    Importa PromptCompressor y comprime un prompt con el modelo predeterminado

Antes de usarlo

  • La calidad de la compresión depende del modelo elegido, y algunas variantes necesitan una GPU para ofrecer una buena velocidad.
  • Algunas opciones de modelo requieren paquetes adicionales, como optimum y auto-gptq para modelos cuantizados.

Temas

#llm#prompt-compression#rag#kv-cache#inference-optimization#nlp#python

Preguntas frecuentes

¿Qué es LLMLingua?
Biblioteca de Python de Microsoft que comprime prompts de LLM y la KV cache hasta 20 veces al eliminar tokens no esenciales, con una pérdida mínima de rendimiento. LLMLingua es un kit de herramientas de Microsoft Research para comprimir prompts destinados a modelos de lenguaje grandes. Usa un modelo de lenguaje pequeño y entrenado para detectar y eliminar tokens que aportan poco significado, de modo que los prompts largos sean más breves sin perder la información clave. El proyecto afirma que puede comprimir hasta 20 veces con una pérdida mínima de rendimiento, y también incluye compresión de KV cache para acelerar la inferencia.
¿LLMLingua es gratuito? ¿Qué licencia tiene?
LLMLingua es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LLMLingua sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de LLMLingua fue el 10 sept 2026.
¿Para qué puedo usar LLMLingua?
Ajustar documentos largos o pasajes recuperados a una ventana de contexto limitada de un LLM en pipelines de RAG. Reducir los costos de API de aplicaciones que envían prompts largos a GPT-4 u otros modelos similares. Comprimir cadenas de pensamiento o ejemplos few-shot sin perder el contenido del razonamiento. Detectar la intención de jailbreak en prompts de usuario con el modelo SecurityLingua.
¿Cómo se instala LLMLingua?
Instala LLMLingua desde PyPI: pip install llmlingua Importa PromptCompressor y comprime un prompt con el modelo predeterminado
¿Dónde consigo LLMLingua?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/LLMLingua

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados