Biblioteca Python da NVIDIA para comprimir caches KV de LLMs durante a inferência, com vários métodos de compressão plugáveis baseados em Hugging Face transformers.
1,2 mil+5 esta semana194PythonApache-2.0Atualizado ontem
microsoft/MInference
Biblioteca instalável via pip que acelera o prefill de LLMs com contexto longo usando atenção esparsa dinâmica, com pouca perda de precisão.
- Estrelas
- 1,232
- Forks
- 85
- Issues abertas
- 99
- Último commit
- há 29 dias
O que é?
MInference é uma biblioteca que acelera a etapa de prefill na inferência de LLMs com contexto longo. No prefill, o modelo processa o prompt inteiro antes de gerar a resposta; essa etapa fica cara quando os prompts chegam a centenas de milhares ou até um milhão de tokens. O MInference aproxima padrões de atenção esparsa durante a execução e calcula a atenção com kernels personalizados. Segundo o projeto, isso pode reduzir a latência do prefill em até 10x em uma A100, mantendo a precisão.
A biblioteca se integra ao Hugging Face Transformers e ao vLLM aplicando um patch ao modelo com poucas linhas de código, além de disponibilizar diretamente seus kernels de atenção esparsa para uso em pipelines personalizados. O projeto também inclui o SCBench, um benchmark que avalia métodos para contextos longos ao longo do ciclo de vida do KV cache, e o MMInference, uma extensão para acelerar modelos de visão e linguagem com contexto longo.
Entre os modelos compatíveis estão Qwen2.5, LLaMA-3 e 3.1, GLM-4, Yi, Phi-3 e Qwen2. A biblioteca afirma que pode funcionar com qualquer LLM autoregressivo. Também oferece suporte a vários métodos de compressão e recuperação de KV cache, como SnapKV, StreamingLLM e Quest.
Recursos principais
- 01Atenção esparsa dinâmica que aproxima índices esparsos em tempo real para acelerar o prefill.
- 02Integração com Hugging Face Transformers e vLLM por meio de um patch simples no modelo.
- 03Acesso direto aos kernels de atenção esparsa para código de inferência personalizado.
- 04Suporte a vários métodos de KV cache, incluindo SnapKV, StreamingLLM e Quest.
- 05Benchmark SCBench para avaliar métodos de contexto longo ao longo do ciclo de vida do KV cache.
Casos de uso
- Servir LLMs com contexto longo e prompts de centenas de milhares de tokens em uma única GPU.
- Reduzir o tempo até o primeiro token em tarefas de perguntas e respostas sobre documentos ou análise de bases de código.
- Pesquisar métodos de atenção esparsa e KV cache para modelos com contexto longo.
Início rápido
- 1
Instale a biblioteca do PyPI com pip
pip install minference - 2
Aplique um patch a um modelo do Hugging Face com MInference e execute a geração
Antes de usar
- Requer Transformers 4.46.0 ou mais recente e uma stack voltada para GPU, como Torch e Triton.
- Os ganhos de velocidade foram relatados em contextos longos e principalmente em uma GPU A100; portanto, os benefícios podem ser menores com prompts curtos ou em outros hardwares.
Em coleções
Tópicos
Perguntas frequentes
- O que é MInference?
- Biblioteca instalável via pip que acelera o prefill de LLMs com contexto longo usando atenção esparsa dinâmica, com pouca perda de precisão. MInference é uma biblioteca que acelera a etapa de prefill na inferência de LLMs com contexto longo. No prefill, o modelo processa o prompt inteiro antes de gerar a resposta; essa etapa fica cara quando os prompts chegam a centenas de milhares ou até um milhão de tokens. O MInference aproxima padrões de atenção esparsa durante a execução e calcula a atenção com kernels personalizados. Segundo o projeto, isso pode reduzir a latência do prefill em até 10x em uma A100, mantendo a precisão.
- MInference é gratuito? Qual é a licença?
- MInference é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- MInference ainda é mantido?
- Manutenção ativa. O último commit de MInference foi em 10 de out. de 2026.
- Para que posso usar MInference?
- Servir LLMs com contexto longo e prompts de centenas de milhares de tokens em uma única GPU. Reduzir o tempo até o primeiro token em tarefas de perguntas e respostas sobre documentos ou análise de bases de código. Pesquisar métodos de atenção esparsa e KV cache para modelos com contexto longo.
- Como instalar MInference?
- Instale a biblioteca do PyPI com pip: pip install minference Aplique um patch a um modelo do Hugging Face com MInference e execute a geração
- Onde consigo MInference?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/MInference
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework de serving distribuído para inferência em escala de datacenter, que orquestra vLLM, SGLang e TensorRT-LLM em várias GPUs e nós.
8,5 mil+37 esta semana1,8 milRustOtherAtualizado há 22 horas
Um ambiente unificado de pesquisa para comparar métodos de compressão, recuperação, mesclagem e quantização de KV cache em inferência de LLMs com contexto longo.
1,4 mil+2 esta semana181PythonMITAtualizado há 3 meses
Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,3 mil+58 esta semana2,1 milPythonApache-2.0Atualizado há 23 horas
Fork do llama.cpp ajustado para placas NVIDIA RTX 30 da arquitetura Ampere, principalmente a RTX 3090, para rodar modelos Qwen3.8 localmente.
22731C++MITBem mantidoAtualizado ontem
Servidor de inferência de LLM para Macs com Apple Silicon, com batching contínuo, cache KV em camadas de RAM/SSD e gerenciamento pela barra de menus.
23,4 mil+131 esta semana2,1 milPythonApache-2.0Bem mantidoAtualizado anteontem