Repolode
Предложить
InternLM

InternLM/lmdeploy

Набор инструментов для сжатия, развёртывания и обслуживания LLM и vision-language моделей с движками инференса TurboMind и PyTorch.

Открыть на GitHubСайт
Звёзды
8,111
Форки
767
Открытые issues
613
Последний коммит
5 часов назад

Что это?

LMDeploy — набор инструментов для сжатия, развёртывания и обслуживания больших языковых моделей. Он предоставляет конвейер офлайн-инференса для Python-скриптов и API-сервер для онлайн-обслуживания, а также поддерживает развёртывание нескольких моделей на нескольких машинах и GPU.

В проект входят два движка инференса. TurboMind ориентирован на производительность и поддерживает такие функции, как постоянное пакетирование запросов, блочный KV cache, tensor parallelism, а также квантование весов и KV cache, включая AWQ 4-bit. Движок PyTorch полностью написан на Python, поэтому его проще модифицировать и использовать для экспериментов с новыми моделями. В таблице совместимости указано, какие модели поддерживает каждый движок.

Список поддерживаемых моделей включает множество семейств: текстовые модели Llama, Qwen, InternLM, DeepSeek, Mixtral и GLM, а также vision-language модели, например LLaVA, Qwen2-VL и InternVL. Набор инструментов также поддерживает оборудование Huawei Ascend и GPU NVIDIA.

Ключевые возможности

  • 01Пакетный офлайн-инференс через API-конвейер для Python.
  • 02Онлайн-обслуживание через API-сервер, совместимый с OpenAI.
  • 03Квантование весов и KV cache, включая 4-битный AWQ.
  • 04Два движка инференса: TurboMind для высокой производительности и PyTorch для разработки на Python.
  • 05Развёртывание нескольких моделей на нескольких машинах и GPU с прокси-сервером для запросов.

Сценарии использования

  • Размещение open-source LLM или VLM за внутренним API, чтобы снизить потребление памяти GPU и задержку.
  • Запуск квантованных моделей на GPU NVIDIA с ограниченными ресурсами.
  • Развёртывание моделей на оборудовании Huawei Ascend.
  • Создание прототипов новых архитектур моделей с помощью движка PyTorch на Python.

Быстрый старт

  1. 1

    Создайте среду conda с Python 3.12

    conda create -n lmdeploy python=3.12 -y
  2. 2

    Активируйте среду conda

    conda activate lmdeploy
  3. 3

    Установите LMDeploy из PyPI

    pip install lmdeploy
  4. 4

    Запустите пакетный офлайн-инференс с помощью pipeline

Что важно знать

  • Предварительно собранные wheel-пакеты PyPI рассчитаны на CUDA 12.8, поэтому для конфигураций с GPU могут потребоваться совместимые драйверы.
  • Многие функции и модели зависят от GPU NVIDIA, а уровень поддержки различается в зависимости от движка и платформы.

Темы

#llm-inference#llm#quantization#model-serving#gpu#cuda#openai-api#vision-language-model#codellama#cuda-kernels

Частые вопросы

Что такое lmdeploy?
Набор инструментов для сжатия, развёртывания и обслуживания LLM и vision-language моделей с движками инференса TurboMind и PyTorch. LMDeploy — набор инструментов для сжатия, развёртывания и обслуживания больших языковых моделей. Он предоставляет конвейер офлайн-инференса для Python-скриптов и API-сервер для онлайн-обслуживания, а также поддерживает развёртывание нескольких моделей на нескольких машинах и GPU.
lmdeploy можно использовать бесплатно? Какая у него лицензия?
lmdeploy распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
lmdeploy всё ещё поддерживается?
Активно поддерживается. Последний коммит в lmdeploy — 21 окт. 2026 г..
Для чего можно использовать lmdeploy?
Размещение open-source LLM или VLM за внутренним API, чтобы снизить потребление памяти GPU и задержку. Запуск квантованных моделей на GPU NVIDIA с ограниченными ресурсами. Развёртывание моделей на оборудовании Huawei Ascend. Создание прототипов новых архитектур моделей с помощью движка PyTorch на Python.
Как установить lmdeploy?
Создайте среду conda с Python 3.12: conda create -n lmdeploy python=3.12 -y Активируйте среду conda: conda activate lmdeploy Установите LMDeploy из PyPI: pip install lmdeploy Запустите пакетный офлайн-инференс с помощью pipeline
Где скачать lmdeploy?
Исходный код и инструкции по установке — на GitHub: https://github.com/InternLM/lmdeploy

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты