Repolode
提交项目
alibaba

alibaba/rtp-llm

阿里巴巴开源的高性能大模型推理引擎，用于部署和加速 LLM 服务。

在 GitHub 查看
Star
1,394
Fork
299
未关闭 Issue
274
最近提交
18小时前

这是什么？

RTP-LLM 是阿里巴巴基础模型推理团队开发的大语言模型推理加速引擎，面向生产环境的高效 LLM 服务，已在淘宝、天猫、高德等多个业务中使用。

引擎基于 PagedAttention、FlashAttention 等高性能 CUDA 算子，支持 WeightOnly INT8 和 INT4 量化（兼容 GPTQ、AWQ），并提供自适应 KVCache 量化。它可以加载 HuggingFace 生态的 SafeTensors、PyTorch、Megatron 等格式的模型权重，并支持多机多卡张量并行。

在服务能力方面，单个模型实例可同时部署多个 LoRA 服务，支持图文混合的多模态输入，提供多轮对话的上下文前缀缓存和 System Prompt 缓存，并支持投机采样和 Prefill/Decode 分离部署。项目是 havenask 的子项目，部分设计借鉴了 FasterTransformer，并集成了 TensorRT-LLM 的部分内核实现。

核心功能

  • 01集成 PagedAttention、FlashAttention 等优化 CUDA 算子
  • 02支持 WeightOnly INT8/INT4 量化，兼容 GPTQ、AWQ
  • 03支持多机多卡张量并行
  • 04单个模型实例可部署多个 LoRA 服务
  • 05提供多轮对话的上下文前缀缓存和 System Prompt 缓存
  • 06支持投机采样与 Prefill/Decode 分离

适用场景

  • 在 NVIDIA GPU 上部署高吞吐的大模型推理服务
  • 用同一基础模型同时服务多个 LoRA 微调版本
  • 生产环境中运行图文混合的多模态模型
  • 借助量化和 KVCache 优化降低显存占用与延迟

快速上手

  1. 1

    按照 RTP-LLM 文档站点上的安装指南进行安装

  2. 2

    按照快速开始指南发送第一个请求

使用前须知

  • README 提到了 CUDA 内核和针对 V100 的优化，因此主要面向 NVIDIA GPU 环境。
  • README 表示 AMD ROCm 和 Intel CPU 的支持仍在开发中。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#llm-inference#llm-serving#gpu#cuda#quantization#model-serving#lora#gpt#inference#llama

常见问题

rtp-llm 是什么？
阿里巴巴开源的高性能大模型推理引擎，用于部署和加速 LLM 服务。 RTP-LLM 是阿里巴巴基础模型推理团队开发的大语言模型推理加速引擎，面向生产环境的高效 LLM 服务，已在淘宝、天猫、高德等多个业务中使用。
rtp-llm 可以免费使用吗？用的什么许可证？
rtp-llm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
rtp-llm 还在维护吗？
活跃维护中。rtp-llm 最近一次提交是在 2026年11月6日。
rtp-llm 适合用来做什么？
在 NVIDIA GPU 上部署高吞吐的大模型推理服务 用同一基础模型同时服务多个 LoRA 微调版本 生产环境中运行图文混合的多模态模型 借助量化和 KVCache 优化降低显存占用与延迟
rtp-llm 怎么安装和运行？
按照 RTP-LLM 文档站点上的安装指南进行安装 按照快速开始指南发送第一个请求
在哪里获取 rtp-llm？
源代码和安装说明在 GitHub 上：https://github.com/alibaba/rtp-llm

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目