Biblioteca de Python de NVIDIA para comprimir las cachés KV de los LLM durante la inferencia, con métodos de compresión modulares basados en Hugging Face transformers.
1,2 mil+5 esta semana194PythonApache-2.0Actualizado anteayer
microsoft/MInference
Biblioteca instalable con pip que acelera el prellenado de LLM con contextos largos mediante atención dispersa dinámica, con una pérdida mínima de precisión.
- Estrellas
- 1,232
- Forks
- 85
- Issues abiertos
- 99
- Último commit
- hace 27 días
¿Qué es?
MInference es una biblioteca que acelera la etapa de prellenado de la inferencia de LLM con contextos largos. Durante el prellenado, el modelo procesa todo el prompt antes de generar la salida, lo que se vuelve costoso cuando los prompts crecen hasta cientos de miles o un millón de tokens. MInference aproxima patrones de atención dispersa en tiempo de ejecución y calcula la atención con kernels personalizados; según el proyecto, esto puede reducir hasta 10 veces la latencia del prellenado en una A100, manteniendo la precisión.
Se integra con Hugging Face Transformers y vLLM mediante la modificación del modelo con unas pocas líneas de código, y también ofrece acceso directo a sus kernels de atención dispersa para usarlos en pipelines personalizados. El proyecto incluye además SCBench, un benchmark que evalúa métodos para contextos largos a lo largo del ciclo de vida de la caché KV, y MMInference, una extensión para acelerar modelos de visión y lenguaje con contextos largos.
Entre los modelos compatibles están Qwen2.5, LLaMA-3 y 3.1, GLM-4, Yi, Phi-3 y Qwen2; la biblioteca indica que puede funcionar con cualquier LLM de decodificación. También admite varios métodos de compresión y recuperación de la caché KV, como SnapKV, StreamingLLM y Quest.
Funciones clave
- 01Atención dispersa dinámica que aproxima índices dispersos en línea para acelerar el prellenado.
- 02Integración con Hugging Face Transformers y vLLM mediante una modificación sencilla del modelo.
- 03Acceso directo a kernels de atención dispersa para código de inferencia personalizado.
- 04Compatibilidad con varios métodos de caché KV, incluidos SnapKV, StreamingLLM y Quest.
- 05Benchmark SCBench para evaluar métodos para contextos largos a lo largo del ciclo de vida de la caché KV.
Casos de uso
- Servir LLM con contextos largos y prompts de cientos de miles de tokens en una sola GPU.
- Reducir el tiempo hasta el primer token en tareas de respuesta a preguntas sobre documentos o análisis de bases de código.
- Investigar métodos de atención dispersa y de caché KV para modelos con contextos largos.
Inicio rápido
- 1
Instala la biblioteca desde PyPI con pip
pip install minference - 2
Aplica un parche a un modelo de Hugging Face con MInference y ejecuta la generación
Antes de usarlo
- Requiere Transformers 4.46.0 o posterior y una pila orientada a GPU, como Torch y Triton.
- Las mejoras de velocidad se han observado con contextos largos y principalmente en una GPU A100, por lo que los beneficios pueden ser menores con prompts cortos o en otro hardware.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es MInference?
- Biblioteca instalable con pip que acelera el prellenado de LLM con contextos largos mediante atención dispersa dinámica, con una pérdida mínima de precisión. MInference es una biblioteca que acelera la etapa de prellenado de la inferencia de LLM con contextos largos. Durante el prellenado, el modelo procesa todo el prompt antes de generar la salida, lo que se vuelve costoso cuando los prompts crecen hasta cientos de miles o un millón de tokens. MInference aproxima patrones de atención dispersa en tiempo de ejecución y calcula la atención con kernels personalizados; según el proyecto, esto puede reducir hasta 10 veces la latencia del prellenado en una A100, manteniendo la precisión.
- ¿MInference es gratuito? ¿Qué licencia tiene?
- MInference es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿MInference sigue mantenido?
- Mantenimiento activo. El último commit de MInference fue el 10 oct 2026.
- ¿Para qué puedo usar MInference?
- Servir LLM con contextos largos y prompts de cientos de miles de tokens en una sola GPU. Reducir el tiempo hasta el primer token en tareas de respuesta a preguntas sobre documentos o análisis de bases de código. Investigar métodos de atención dispersa y de caché KV para modelos con contextos largos.
- ¿Cómo se instala MInference?
- Instala la biblioteca desde PyPI con pip: pip install minference Aplica un parche a un modelo de Hugging Face con MInference y ejecuta la generación
- ¿Dónde consigo MInference?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/MInference
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos.
8,4 mil+37 esta semana1,8 milRustOtherActualizado hace 18 horas
Un entorno de investigación unificado para comparar métodos de compresión, recuperación, combinación y cuantización de KV cache en inferencia de LLM con contextos largos.
1,4 mil+2 esta semana181PythonMITActualizado hace 3 meses
Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,3 mil+64 esta semana2,1 milPythonApache-2.0Actualizado hace 20 horas
Servidor de inferencia de LLM para Mac con Apple Silicon, con batching continuo, caché KV en RAM y SSD, y gestión desde la barra de menús.
23,4 mil+95 esta semana2,1 milPythonApache-2.0Bien mantenidoActualizado ayer
Framework unificado para evaluar modelos de lenguaje con pocos ejemplos en decenas de benchmarks académicos estándar.
14,4 mil+61 esta semana3,8 milPythonMITActualizado anteayer