Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado ayer
InternLM/lmdeploy
Toolkit para comprimir, desplegar y servir LLM y modelos de visión y lenguaje, con motores de inferencia TurboMind y PyTorch.
- Estrellas
- 8,111
- Forks
- 767
- Issues abiertos
- 613
- Último commit
- hace 4 horas
¿Qué es?
LMDeploy es un toolkit para comprimir, desplegar y servir modelos de lenguaje grandes. Ofrece un pipeline de inferencia offline para scripts de Python y un servidor API para servir modelos online, además de admitir despliegues con varios modelos, máquinas y GPU.
El proyecto incluye dos motores de inferencia. TurboMind se centra en el rendimiento e incorpora funciones como batching persistente, cache KV por bloques, paralelismo de tensores y cuantización solo de pesos y de cache KV (incluido AWQ de 4 bits). El motor de PyTorch está escrito completamente en Python, lo que facilita modificarlo y experimentar con modelos nuevos. Una matriz de compatibilidad indica qué modelos admite cada motor.
La lista de modelos compatibles abarca muchas familias, como Llama, Qwen, InternLM, DeepSeek, Mixtral y GLM para texto, además de modelos de visión y lenguaje como LLaVA, Qwen2-VL e InternVL. El toolkit también admite hardware Huawei Ascend y GPU NVIDIA.
Funciones clave
- 01Inferencia por lotes offline mediante una API de pipeline de Python.
- 02Servicio online con un servidor API compatible con OpenAI.
- 03Cuantización solo de pesos y de cache KV, incluido AWQ de 4 bits.
- 04Dos motores de inferencia: TurboMind, orientado al rendimiento, y PyTorch, para el desarrollo basado en Python.
- 05Despliegue con varios modelos, máquinas y GPU mediante un servidor proxy de solicitudes.
Casos de uso
- Servir un LLM o VLM de código abierto mediante una API interna para reducir el uso de memoria de GPU y la latencia.
- Ejecutar modelos cuantizados en GPU NVIDIA con recursos limitados.
- Desplegar modelos en hardware Huawei Ascend.
- Crear prototipos de nuevas arquitecturas de modelos con el motor PyTorch basado en Python.
Inicio rápido
- 1
Crea un entorno conda con Python 3.12
conda create -n lmdeploy python=3.12 -y - 2
Activa el entorno conda
conda activate lmdeploy - 3
Instala LMDeploy desde PyPI
pip install lmdeploy - 4
Ejecuta inferencia por lotes sin conexión con un pipeline
Antes de usarlo
- Los wheels precompilados de PyPI están destinados a CUDA 12.8, por lo que las configuraciones con GPU pueden necesitar controladores compatibles.
- Muchas funciones y modelos dependen de las GPU NVIDIA, y la compatibilidad varía según el motor y la plataforma.
Temas
Preguntas frecuentes
- ¿Qué es lmdeploy?
- Toolkit para comprimir, desplegar y servir LLM y modelos de visión y lenguaje, con motores de inferencia TurboMind y PyTorch. LMDeploy es un toolkit para comprimir, desplegar y servir modelos de lenguaje grandes. Ofrece un pipeline de inferencia offline para scripts de Python y un servidor API para servir modelos online, además de admitir despliegues con varios modelos, máquinas y GPU.
- ¿lmdeploy es gratuito? ¿Qué licencia tiene?
- lmdeploy es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿lmdeploy sigue mantenido?
- Mantenimiento activo. El último commit de lmdeploy fue el 21 oct 2026.
- ¿Para qué puedo usar lmdeploy?
- Servir un LLM o VLM de código abierto mediante una API interna para reducir el uso de memoria de GPU y la latencia. Ejecutar modelos cuantizados en GPU NVIDIA con recursos limitados. Desplegar modelos en hardware Huawei Ascend. Crear prototipos de nuevas arquitecturas de modelos con el motor PyTorch basado en Python.
- ¿Cómo se instala lmdeploy?
- Crea un entorno conda con Python 3.12: conda create -n lmdeploy python=3.12 -y Activa el entorno conda: conda activate lmdeploy Instala LMDeploy desde PyPI: pip install lmdeploy Ejecuta inferencia por lotes sin conexión con un pipeline
- ¿Dónde consigo lmdeploy?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/InternLM/lmdeploy
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado ayer
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado ayer
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado ayer
Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,1 mil2,2 milPythonApache-2.0Actualizado ayer
Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.
10,3 mil1,5 milCudaMITActualizado hace 5 días