阿里巴巴开源的高性能大模型推理引擎，用于部署和加速 LLM 服务。
1394+7 本周299PythonApache-2.0更新于 18小时前
ModelTC/LightLLM
基于 Python 的大语言模型推理与服务框架，主打轻量设计、易于扩展和高速推理。
- Star
- 4,358
- Fork
- 384
- 未关闭 Issue
- 183
- 最近提交
- 昨天
这是什么？
LightLLM 是一个用 Python 编写的大语言模型推理与服务框架，目标是在保持代码结构精简、便于横向扩展的前提下，把大模型部署为可调用的服务。
项目参考了 FasterTransformer、TGI、vLLM、FlashAttention 等多个开源实现。其请求调度与 KV Cache 管理方案已发表相关论文，包括在 SLA 约束下的 Past-Future 调度，以及基于下推自动机的结构化生成加速。
仓库提供安装指南、快速上手教程和 DeepSeek 部署教程，并附带 Docker 镜像。vLLM、SGLang 等项目复用了其部分内核，纯 Python 的实现也使其适合作为研究基础。
核心功能
- 01轻量的纯 Python 代码库，用于大模型推理与服务。
- 02面向高吞吐服务的请求调度与 KV Cache 管理。
- 03支持受约束的结构化解码。
- 04支持数据并行 rank 之间的前缀 KV Cache 传输。
- 05提供部署教程（含 DeepSeek 模型）和 Docker 镜像。
适用场景
- 将 DeepSeek 等开源大模型部署为推理服务。
- 基于易读的 Python 代码研究大模型调度或 KV Cache 策略。
- 利用受约束解码实现结构化输出生成。
快速上手
- 1
按 README 中的链接阅读安装指南
- 2
按英文文档中的快速开始指南操作
收录于专题
标签
常见问题
- LightLLM 是什么？
- 基于 Python 的大语言模型推理与服务框架，主打轻量设计、易于扩展和高速推理。 LightLLM 是一个用 Python 编写的大语言模型推理与服务框架，目标是在保持代码结构精简、便于横向扩展的前提下，把大模型部署为可调用的服务。
- LightLLM 可以免费使用吗？用的什么许可证？
- LightLLM 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- LightLLM 还在维护吗？
- 活跃维护中。LightLLM 最近一次提交是在 2026年11月6日。
- LightLLM 适合用来做什么？
- 将 DeepSeek 等开源大模型部署为推理服务。 基于易读的 Python 代码研究大模型调度或 KV Cache 策略。 利用受约束解码实现结构化输出生成。
- LightLLM 怎么安装和运行？
- 按 README 中的链接阅读安装指南 按英文文档中的快速开始指南操作
- 在哪里获取 LightLLM？
- 源代码和安装说明在 GitHub 上：https://github.com/ModelTC/LightLLM
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
用一条命令将 Llama、Qwen 等开源大模型部署为兼容 OpenAI 接口的 API 服务。
1.3万+7 本周849PythonApache-2.0更新于 5天前
用于构建和部署 AI 模型推理 API、多模型流水线和 LLM 应用的 Python 库，支持 Docker 与 Kubernetes 部署。
8935+8 本周1058PythonApache-2.0更新于 5天前
一份精选合集，汇集大语言模型微调相关的教程、论文、工具与课程资源。
532+1 本周84无许可证更新于 2个月前
将 Sebastian Raschka 的《从零构建大语言模型》书中的 PyTorch 代码翻译为 Rust，基于 Candle 框架实现。
34143RustMIT维护活跃更新于 5天前
开源推理服务器，通过 HTTP/REST 和 gRPC 部署 TensorRT、PyTorch、ONNX 等多种框架的模型。
1.1万+10 本周1868PythonBSD-3-Clause更新于 前天