Repolode
投稿する
Tencent

Tencent/KsanaLLM

OpenAI互換APIサーバーを備えた、高性能で使いやすいLLM推論・サービングエンジン。

GitHub で見る
スター
552
フォーク
46
未解決の Issue
14
最終コミット
2 か月前

これは何？

KsanaLLMは、大規模言語モデルの推論を実行し、API経由で提供するためのエンジンです。LLaMA、Qwen、Baichuan、Yi、DeepSeekなどの一般的なHugging Faceモデルを読み込み、PyTorchとSafeTensorsの重み形式に対応しています。

このエンジンはスループットを重視しています。Attentionのkey-valueメモリ管理にPagedAttentionを使用し、スケジューリングとメモリ調整を伴う動的バッチ処理、プレフィックスキャッシュ、マルチGPUのテンソル並列化を備えています。また、ストリーミング出力や並列サンプリング、ビームサーチなどのデコード方式に対応し、ツール呼び出しと推論用パーサーを備えた基本の /v1/chat/completions エンドポイントを公開します。

KsanaLLMはNVIDIA GPUとHuawei Ascend NPUを対象としており、READMEにはKunlunxin XPUのサポートも記載されています。プロジェクトにはDockerのビルドファイル、マルチノード分散サービング、PD（prefill/decode）分離モードのほか、Mooncake StoreをバックエンドとするオプションのグローバルKVキャッシュコネクターが含まれています。

主な機能

  • 01ストリーミング出力に対応した、OpenAI互換の /v1/chat/completions APIを提供します。
  • 02PagedAttentionとプレフィックスキャッシュを使用して、AttentionのKVメモリを管理します。
  • 03タスクスケジューリングとメモリ使用量を調整しながら、動的バッチ処理を行います。
  • 04マルチGPUのテンソル並列化とマルチノード分散実行に対応しています。
  • 05Hugging FaceモデルをPyTorch形式とSafeTensors形式で読み込みます。
  • 06NVIDIA GPUとHuawei Ascend NPUで動作し、Kunlunxin XPUにも対応すると記載されています。

ユースケース

  • LLaMAやQwenなどのオープンウェイトLLMを、OpenAI形式のAPI経由で提供する。
  • DeepSeekクラスのモデルを複数のGPUまたはノードにまたがって実行する。
  • Huawei Ascend NPUクラスターにLLM推論をデプロイする。
  • prefill/decodeの分離やグローバルKVキャッシュの共有を試す。

収録されている特集

LLM をローカルで動かす

トピック

#llm-inference#llm-serving#cuda#pagedattention#tensor-parallelism#openai-api#ascend-npu#huggingface

よくある質問

KsanaLLM とは？
OpenAI互換APIサーバーを備えた、高性能で使いやすいLLM推論・サービングエンジン。 KsanaLLMは、大規模言語モデルの推論を実行し、API経由で提供するためのエンジンです。LLaMA、Qwen、Baichuan、Yi、DeepSeekなどの一般的なHugging Faceモデルを読み込み、PyTorchとSafeTensorsの重み形式に対応しています。
KsanaLLM は無料で使えますか？ライセンスは？
KsanaLLM は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
KsanaLLM は今もメンテナンスされていますか？
半年以内に更新あり。KsanaLLM の最終コミットは 2026年8月27日 です。
KsanaLLM は何に使えますか？
LLaMAやQwenなどのオープンウェイトLLMを、OpenAI形式のAPI経由で提供する。 DeepSeekクラスのモデルを複数のGPUまたはノードにまたがって実行する。 Huawei Ascend NPUクラスターにLLM推論をデプロイする。 prefill/decodeの分離やグローバルKVキャッシュの共有を試す。
KsanaLLM はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Tencent/KsanaLLM

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト