Repolode
Предложить
alibaba

alibaba/rtp-llm

Высокопроизводительный движок инференса LLM от Alibaba, который используют разные бизнес-подразделения компании для обслуживания больших языковых моделей.

Открыть на GitHub
Звёзды
1,394
Форки
299
Открытые issues
274
Последний коммит
21 час назад

Что это?

RTP-LLM — движок для ускорения инференса больших языковых моделей, разработанный командой Foundation Model Inference Team компании Alibaba. Он предназначен для эффективного обслуживания LLM в production и используется в нескольких бизнес-подразделениях Alibaba, включая Taobao, Tmall и Amap.

Движок использует оптимизированные CUDA-ядра, такие как PagedAttention и FlashAttention, поддерживает квантование весов до INT8 и INT4 (в том числе для чекпойнтов GPTQ и AWQ) и адаптивное квантование KV-кэша. Он загружает модели в формате HuggingFace с весами SafeTensors, PyTorch и Megatron и поддерживает тензорный параллелизм на нескольких машинах и GPU.

Возможности обслуживания моделей включают работу с несколькими LoRA-адаптерами из одного экземпляра модели, мультимодальные входные данные с изображениями и текстом, кэширование префиксов и системных промптов для многошаговых диалогов, спекулятивное декодирование и разделение Prefill/Decode. Проект является подпроектом havenask и опирается на идеи FasterTransformer и CUDA-ядер TensorRT-LLM.

Ключевые возможности

  • 01Оптимизированные CUDA-ядра, включая PagedAttention и FlashAttention
  • 02Квантование весов до INT8/INT4 с поддержкой GPTQ и AWQ
  • 03Тензорный параллелизм на нескольких машинах и GPU
  • 04Обслуживание нескольких LoRA-адаптеров из одного экземпляра модели
  • 05Кэширование префикса контекста и системного промпта для многошаговых диалогов
  • 06Спекулятивное декодирование и разделение Prefill/Decode

Сценарии использования

  • Развёртывание высокопроизводительных сервисов инференса LLM на GPU NVIDIA
  • Обслуживание множества дообученных LoRA-версий одной базовой модели
  • Запуск мультимодальных моделей для работы с изображениями и текстом в production
  • Снижение потребления видеопамяти и задержек за счёт квантования и оптимизации KV-кэша

Быстрый старт

  1. 1

    Следуйте руководству по установке на сайте документации RTP-LLM

  2. 2

    Следуйте руководству по быстрому старту, чтобы отправить первый запрос

Что важно знать

  • В README упоминаются ядра CUDA и оптимизация для V100, поэтому основное внимание уделяется конфигурациям с GPU NVIDIA.
  • Согласно README, поддержка AMD ROCm и Intel CPU всё ещё находится в разработке.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#llm-serving#gpu#cuda#quantization#model-serving#lora#gpt#inference#llama

Частые вопросы

Что такое rtp-llm?
Высокопроизводительный движок инференса LLM от Alibaba, который используют разные бизнес-подразделения компании для обслуживания больших языковых моделей. RTP-LLM — движок для ускорения инференса больших языковых моделей, разработанный командой Foundation Model Inference Team компании Alibaba. Он предназначен для эффективного обслуживания LLM в production и используется в нескольких бизнес-подразделениях Alibaba, включая Taobao, Tmall и Amap.
rtp-llm можно использовать бесплатно? Какая у него лицензия?
rtp-llm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
rtp-llm всё ещё поддерживается?
Активно поддерживается. Последний коммит в rtp-llm — 6 нояб. 2026 г..
Для чего можно использовать rtp-llm?
Развёртывание высокопроизводительных сервисов инференса LLM на GPU NVIDIA Обслуживание множества дообученных LoRA-версий одной базовой модели Запуск мультимодальных моделей для работы с изображениями и текстом в production Снижение потребления видеопамяти и задержек за счёт квантования и оптимизации KV-кэша
Как установить rtp-llm?
Следуйте руководству по установке на сайте документации RTP-LLM Следуйте руководству по быстрому старту, чтобы отправить первый запрос
Где скачать rtp-llm?
Исходный код и инструкции по установке — на GitHub: https://github.com/alibaba/rtp-llm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты