一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。
9.5万2.4万PythonApache-2.0更新于 2小时前
Tencent/KsanaLLM
高性能、易用的大模型推理与服务引擎，提供兼容 OpenAI 的 API 服务。
- Star
- 552
- Fork
- 46
- 未关闭 Issue
- 14
- 最近提交
- 2个月前
这是什么？
KsanaLLM 是一个用于大语言模型推理并通过 API 对外提供服务的引擎。它可以加载 LLaMA、Qwen、Baichuan、Yi、DeepSeek 等常见 Hugging Face 模型，支持 PyTorch 与 SafeTensors 权重格式。
引擎注重吞吐量，采用 PagedAttention 管理注意力的 KV 缓存，并针对动态批处理的任务调度与显存利用做了优化，同时支持前缀缓存、多卡张量并行和流式输出。解码方式包括并行采样、束搜索等，并提供兼容 OpenAI 的 /v1/chat/completions 接口，可配置工具调用与推理内容解析。
项目面向 NVIDIA GPU 和华为昇腾 NPU，另列出了昆仑芯 XPU 的支持。仓库包含 Docker 构建文件、多机分布式部署、PD 分离（prefill/decode）模式，以及基于 Mooncake Store 的可选全局 KV 缓存连接器。
核心功能
- 01提供兼容 OpenAI 的 /v1/chat/completions 接口，支持流式输出。
- 02使用 PagedAttention 与前缀缓存管理注意力 KV 显存。
- 03通过动态批处理与调度优化提升吞吐。
- 04支持多卡张量并行和多机分布式运行。
- 05可加载 PyTorch 与 SafeTensors 格式的 Hugging Face 模型。
- 06支持 NVIDIA GPU 与华为昇腾 NPU，并列出昆仑芯 XPU。
适用场景
- 将 LLaMA、Qwen 等开源大模型以 OpenAI 风格 API 对外提供服务。
- 在多张 GPU 或多台机器上运行 DeepSeek 等大型模型。
- 在华为昇腾 NPU 集群上部署大模型推理。
- 尝试 PD 分离或基于 Mooncake 的全局 KV 缓存共享方案。
收录于专题
标签
常见问题
- KsanaLLM 是什么？
- 高性能、易用的大模型推理与服务引擎，提供兼容 OpenAI 的 API 服务。 KsanaLLM 是一个用于大语言模型推理并通过 API 对外提供服务的引擎。它可以加载 LLaMA、Qwen、Baichuan、Yi、DeepSeek 等常见 Hugging Face 模型，支持 PyTorch 与 SafeTensors 权重格式。
- KsanaLLM 可以免费使用吗？用的什么许可证？
- KsanaLLM 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
- KsanaLLM 还在维护吗？
- 半年内有更新。KsanaLLM 最近一次提交是在 2026年8月27日。
- KsanaLLM 适合用来做什么？
- 将 LLaMA、Qwen 等开源大模型以 OpenAI 风格 API 对外提供服务。 在多张 GPU 或多台机器上运行 DeepSeek 等大型模型。 在华为昇腾 NPU 集群上部署大模型推理。 尝试 PD 分离或基于 Mooncake 的全局 KV 缓存共享方案。
- 在哪里获取 KsanaLLM？
- 源代码和安装说明在 GitHub 上：https://github.com/Tencent/KsanaLLM
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
用于压缩、部署和服务大语言模型与视觉语言模型的工具包，内含 TurboMind 与 PyTorch 两种推理引擎。
8112768PythonApache-2.0更新于 9小时前
在两台 NVIDIA DGX Sparks 上部署 DeepSeek-V4.1-Flash-1017 的 OpenAI 兼容 API 方案，支持百万级上下文。
23640ShellApache-2.0更新于 昨天
在四台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash 的启动脚本、补丁与实测结果记录。
13921PythonMIT更新于 15小时前
纯 C 推理引擎，通过从磁盘按需读取路由专家，在普通硬件上运行超大混合专家（MoE）模型。
4.3万4870CApache-2.0更新于 4小时前
面向消费级硬件的原生推理引擎，用于在 Metal、CUDA 和 ROCm 上运行 DeepSeek V4 Flash 等少数大模型。
2.4万2322CMIT更新于 3天前