Repolode
Предложить
Tencent

Tencent/KsanaLLM

Высокопроизводительный и простой в использовании движок для инференса и обслуживания LLM с API-сервером, совместимым с OpenAI.

Открыть на GitHub
Звёзды
552
Форки
46
Открытые issues
14
Последний коммит
2 месяца назад

Что это?

KsanaLLM — движок для инференса больших языковых моделей и их обслуживания через API. Он загружает популярные модели с Hugging Face, такие как LLaMA, Qwen, Baichuan, Yi и DeepSeek, и поддерживает форматы весов PyTorch и SafeTensors.

Движок ориентирован на высокую пропускную способность. Для работы с памятью key-value механизма attention он использует PagedAttention, а также динамическую пакетную обработку с планированием и настройкой использования памяти, кеширование префиксов и тензорный параллелизм на нескольких GPU. Кроме того, поддерживаются потоковая выдача и режимы декодирования, такие как параллельная генерация и beam search. Основной endpoint `/v1/chat/completions` поддерживает парсеры вызовов инструментов и рассуждений.

KsanaLLM предназначен для GPU NVIDIA и NPU Huawei Ascend; в README также указана поддержка Kunlunxin XPU. В проект входят файлы для сборки Docker, распределённое обслуживание на нескольких узлах, режим разделения PD (prefill/decode) и опциональный коннектор глобального KV-кеша на базе Mooncake Store.

Ключевые возможности

  • 01Предоставляет совместимый с OpenAI API `/v1/chat/completions` с потоковой выдачей.
  • 02Использует PagedAttention и кеширование префиксов для управления KV-памятью attention.
  • 03Выполняет динамическую пакетную обработку с настройкой планирования задач и использования памяти.
  • 04Поддерживает тензорный параллелизм на нескольких GPU и распределённое выполнение на нескольких узлах.
  • 05Загружает модели с Hugging Face в форматах PyTorch и SafeTensors.
  • 06Работает на GPU NVIDIA и NPU Huawei Ascend; также указана поддержка Kunlunxin XPU.

Сценарии использования

  • Обслуживание LLM с открытыми весами, например LLaMA или Qwen, через API в стиле OpenAI.
  • Запуск моделей класса DeepSeek на нескольких GPU или узлах.
  • Развёртывание инференса LLM на кластерах NPU Huawei Ascend.
  • Эксперименты с разделением prefill/decode или совместным использованием глобального KV-кеша.

В подборках

Запуск LLM локально

Темы

#llm-inference#llm-serving#cuda#pagedattention#tensor-parallelism#openai-api#ascend-npu#huggingface

Частые вопросы

Что такое KsanaLLM?
Высокопроизводительный и простой в использовании движок для инференса и обслуживания LLM с API-сервером, совместимым с OpenAI. KsanaLLM — движок для инференса больших языковых моделей и их обслуживания через API. Он загружает популярные модели с Hugging Face, такие как LLaMA, Qwen, Baichuan, Yi и DeepSeek, и поддерживает форматы весов PyTorch и SafeTensors.
KsanaLLM можно использовать бесплатно? Какая у него лицензия?
KsanaLLM распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
KsanaLLM всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в KsanaLLM — 27 авг. 2026 г..
Для чего можно использовать KsanaLLM?
Обслуживание LLM с открытыми весами, например LLaMA или Qwen, через API в стиле OpenAI. Запуск моделей класса DeepSeek на нескольких GPU или узлах. Развёртывание инференса LLM на кластерах NPU Huawei Ascend. Эксперименты с разделением prefill/decode или совместным использованием глобального KV-кеша.
Где скачать KsanaLLM?
Исходный код и инструкции по установке — на GitHub: https://github.com/Tencent/KsanaLLM

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты