InternLM/lmdeploy

这是什么？

核心功能

• 01通过 Python pipeline 接口进行离线批量推理。
• 02提供兼容 OpenAI 接口的在线 API 服务。
• 03支持权重量化与 KV cache 量化，包括 4bit AWQ。
• 04提供 TurboMind 和 PyTorch 两套推理引擎。
• 05支持多模型、多机多卡部署，并提供请求分发服务。

适用场景

• 将开源大模型或视觉语言模型部署为内部 API，降低显存占用和延迟。
• 在显存有限的 NVIDIA GPU 上运行量化模型。
• 在华为昇腾硬件上部署模型。
• 借助基于 Python 的 PyTorch 引擎快速验证新的模型结构。

快速上手

1. 1

   使用 conda 创建 Python 3.12 环境

   conda create -n lmdeploy python=3.12 -y
2. 2

   激活 conda 环境

   conda activate lmdeploy
3. 3

   从 PyPI 安装 LMDeploy

   pip install lmdeploy
4. 4

   使用 pipeline 运行离线批量推理

使用前须知

• !PyPI 预编译安装包基于 CUDA 12.8 构建，GPU 环境可能需要匹配的驱动。
• !许多功能和模型依赖 NVIDIA GPU，且不同引擎和平台的支持程度不同。

标签

常见问题

lmdeploy 是什么？

用于压缩、部署和服务大语言模型与视觉语言模型的工具包，内含 TurboMind 与 PyTorch 两种推理引擎。 LMDeploy 是一个用于压缩、部署和服务大语言模型的工具包。它提供适合 Python 脚本调用的离线推理 pipeline，也提供在线服务用的 API Server，并支持多模型、多机多卡部署。

lmdeploy 可以免费使用吗？用的什么许可证？

lmdeploy 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

lmdeploy 还在维护吗？

活跃维护中。lmdeploy 最近一次提交是在 2026年10月21日。

lmdeploy 适合用来做什么？

将开源大模型或视觉语言模型部署为内部 API，降低显存占用和延迟。 在显存有限的 NVIDIA GPU 上运行量化模型。 在华为昇腾硬件上部署模型。 借助基于 Python 的 PyTorch 引擎快速验证新的模型结构。

lmdeploy 怎么安装和运行？

使用 conda 创建 Python 3.12 环境: conda create -n lmdeploy python=3.12 -y 激活 conda 环境: conda activate lmdeploy 从 PyPI 安装 LMDeploy: pip install lmdeploy 使用 pipeline 运行离线批量推理

在哪里获取 lmdeploy？

源代码和安装说明在 GitHub 上：https://github.com/InternLM/lmdeploy