Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado ontem
InternLM/lmdeploy
Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.
- Estrelas
- 8,111
- Forks
- 767
- Issues abertas
- 613
- Último commit
- há 4 horas
O que é?
LMDeploy é um toolkit para compactar, implantar e servir grandes modelos de linguagem. Ele oferece um pipeline de inferência offline para scripts Python e um servidor de API para servir modelos online, além de oferecer suporte a implantações com vários modelos, máquinas e GPUs.
O projeto inclui duas engines de inferência. A TurboMind prioriza o desempenho e oferece recursos como batching persistente, cache KV em blocos, paralelismo de tensores e quantização apenas dos pesos e do cache KV (incluindo AWQ de 4 bits). A engine PyTorch é escrita inteiramente em Python, o que facilita modificá-la e experimentar novos modelos. Uma matriz de compatibilidade lista os modelos suportados por cada engine.
A lista de modelos compatíveis abrange várias famílias, incluindo Llama, Qwen, InternLM, DeepSeek, Mixtral e GLM para texto, além de modelos de visão e linguagem, como LLaVA, Qwen2-VL e InternVL. O toolkit também oferece suporte a hardware Huawei Ascend e GPUs NVIDIA.
Recursos principais
- 01Inferência em lote offline por meio de uma API de pipeline Python.
- 02Serviço online com um servidor de API compatível com OpenAI.
- 03Quantização apenas dos pesos e do cache KV, incluindo AWQ de 4 bits.
- 04Duas engines de inferência: TurboMind, voltada ao desempenho, e PyTorch, para desenvolvimento em Python.
- 05Implantação com vários modelos, máquinas e GPUs, usando um servidor proxy de requisições.
Casos de uso
- Servir um LLM ou VLM de código aberto por trás de uma API interna para reduzir o uso de memória da GPU e a latência.
- Executar modelos quantizados em GPUs NVIDIA com recursos limitados.
- Implantar modelos em hardware Huawei Ascend.
- Prototipar novas arquiteturas de modelos com a engine PyTorch baseada em Python.
Início rápido
- 1
Crie um ambiente conda com Python 3.12
conda create -n lmdeploy python=3.12 -y - 2
Ative o ambiente conda
conda activate lmdeploy - 3
Instale o LMDeploy pelo PyPI
pip install lmdeploy - 4
Execute inferência em lote offline com um pipeline
Antes de usar
- Os wheels pré-compilados do PyPI são destinados ao CUDA 12.8, então configurações com GPU podem precisar de drivers compatíveis.
- Muitos recursos e modelos dependem de GPUs NVIDIA, e o suporte varia conforme o mecanismo e a plataforma.
Tópicos
Perguntas frequentes
- O que é lmdeploy?
- Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch. LMDeploy é um toolkit para compactar, implantar e servir grandes modelos de linguagem. Ele oferece um pipeline de inferência offline para scripts Python e um servidor de API para servir modelos online, além de oferecer suporte a implantações com vários modelos, máquinas e GPUs.
- lmdeploy é gratuito? Qual é a licença?
- lmdeploy é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- lmdeploy ainda é mantido?
- Manutenção ativa. O último commit de lmdeploy foi em 21 de out. de 2026.
- Para que posso usar lmdeploy?
- Servir um LLM ou VLM de código aberto por trás de uma API interna para reduzir o uso de memória da GPU e a latência. Executar modelos quantizados em GPUs NVIDIA com recursos limitados. Implantar modelos em hardware Huawei Ascend. Prototipar novas arquiteturas de modelos com a engine PyTorch baseada em Python.
- Como instalar lmdeploy?
- Crie um ambiente conda com Python 3.12: conda create -n lmdeploy python=3.12 -y Ative o ambiente conda: conda activate lmdeploy Instale o LMDeploy pelo PyPI: pip install lmdeploy Execute inferência em lote offline com um pipeline
- Onde consigo lmdeploy?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/InternLM/lmdeploy
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado ontem
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado ontem
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado ontem
Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,1 mil2,2 milPythonApache-2.0Atualizado ontem
Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
10,3 mil1,5 milCudaMITAtualizado há 5 dias