alibaba/rtp-llm

これは何？

主な機能

• 01PagedAttentionやFlashAttentionなどの最適化されたCUDAカーネル
• 02GPTQおよびAWQと互換性のあるweight-only INT8／INT4量子化
• 03複数マシン・複数GPUにまたがるtensor parallelism
• 041つのモデルインスタンスから複数のLoRAアダプターを提供
• 05複数ターンの対話に対応するコンテキストprefix cacheとsystem prompt cache
• 06speculative decodingとPrefill/Decode分離

ユースケース

• NVIDIA GPU上で高スループットなLLM推論サービスをデプロイする
• 1つのベースモデルを使った複数のLoRAファインチューニングモデルを提供する
• 本番環境で画像とテキストを扱うマルチモーダルモデルを実行する
• 量子化とKV cacheの最適化により、GPUメモリ使用量とレイテンシを削減する

クイックスタート

1. 1

   RTP-LLMのドキュメントサイトにあるインストールガイドに従ってください

2. 2

   クイックスタートガイドに従って、最初のリクエストを送信してください

使う前に知っておきたいこと

• !READMEではCUDAカーネルとV100向けの最適化が紹介されているため、主にNVIDIA GPU環境が対象です。
• !READMEによると、AMD ROCmとIntel CPUのサポートはまだ開発中です。

収録されている特集

トピック

よくある質問

rtp-llm とは？

Alibabaが開発し、社内の複数事業部門で大規模言語モデルの提供に利用されている、高性能なLLM推論エンジン。 RTP-LLMは、AlibabaのFoundation Model Inference Teamが開発した大規模言語モデル向けの推論高速化エンジンです。本番環境でLLMを効率よく提供できるよう設計されており、Taobao、Tmall、Amapなど、Alibabaの複数の事業部門で利用されています。

rtp-llm は無料で使えますか？ライセンスは？

rtp-llm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

rtp-llm は今もメンテナンスされていますか？

活発にメンテナンス中。rtp-llm の最終コミットは 2026年11月6日 です。

rtp-llm は何に使えますか？

NVIDIA GPU上で高スループットなLLM推論サービスをデプロイする 1つのベースモデルを使った複数のLoRAファインチューニングモデルを提供する 本番環境で画像とテキストを扱うマルチモーダルモデルを実行する 量子化とKV cacheの最適化により、GPUメモリ使用量とレイテンシを削減する

rtp-llm のインストール方法は？

RTP-LLMのドキュメントサイトにあるインストールガイドに従ってください クイックスタートガイドに従って、最初のリクエストを送信してください

rtp-llm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/alibaba/rtp-llm