Repolode
投稿する
InternLM

InternLM/lmdeploy

TurboMindとPyTorchの推論エンジンを備え、LLMや視覚言語モデルの圧縮、デプロイ、サービングを行うツールキット。

GitHub で見る公式サイト
スター
8,111
フォーク
767
未解決の Issue
613
最終コミット
4 時間前

これは何？

LMDeployは、大規模言語モデルを圧縮、デプロイ、サービングするためのツールキットです。Pythonスクリプトから使えるオフライン推論パイプラインと、オンラインサービング用のAPIサーバーを提供し、複数モデル・複数マシン・複数GPUでのデプロイにも対応します。

このプロジェクトには2つの推論エンジンが含まれています。TurboMindは性能を重視し、Persistent Batching、Blocked KV Cache、Tensor Parallelism、重みのみの量子化やKV Cache量子化（AWQ 4-bitを含む）などの機能を備えています。PyTorchエンジンはすべてPythonで実装されているため、新しいモデルへの対応や実験が容易です。各エンジンの対応モデルはサポートマトリクスで確認できます。

対応モデルは幅広く、テキストモデルではLlama、Qwen、InternLM、DeepSeek、Mixtral、GLMなど、視覚言語モデルではLLaVA、Qwen2-VL、InternVLなどをサポートしています。また、Huawei AscendとNVIDIA GPUにも対応しています。

主な機能

  • 01PythonのパイプラインAPIを使ったオフラインのバッチ推論。
  • 02OpenAI互換APIサーバーによるオンラインサービング。
  • 03AWQ 4-bitを含む、重みのみの量子化とKV Cache量子化。
  • 04性能重視のTurboMindと、Pythonベースの開発に適したPyTorchの2つの推論エンジン。
  • 05リクエストプロキシサーバーを使った、複数モデル・複数マシン・複数GPUへのデプロイ。

ユースケース

  • オープンソースのLLMやVLMを内部APIの背後でサービングし、GPUメモリ使用量とレイテンシを削減する。
  • 限られた性能のNVIDIA GPUで量子化モデルを実行する。
  • Huawei Ascendハードウェアにモデルをデプロイする。
  • PythonベースのPyTorchエンジンを使って、新しいモデルアーキテクチャのプロトタイプを作成する。

クイックスタート

  1. 1

    Python 3.12 の conda 環境を作成する

    conda create -n lmdeploy python=3.12 -y
  2. 2

    conda 環境を有効化する

    conda activate lmdeploy
  3. 3

    PyPI から LMDeploy をインストールする

    pip install lmdeploy
  4. 4

    pipeline でオフラインのバッチ推論を実行する

使う前に知っておきたいこと

  • PyPI のビルド済み wheel は CUDA 12.8 を対象としているため、GPU 環境では対応するドライバーが必要になる場合があります。
  • 多くの機能やモデルは NVIDIA GPU に依存しており、サポート状況は engine やプラットフォームによって異なります。

トピック

#llm-inference#llm#quantization#model-serving#gpu#cuda#openai-api#vision-language-model#codellama#cuda-kernels

よくある質問

lmdeploy とは？
TurboMindとPyTorchの推論エンジンを備え、LLMや視覚言語モデルの圧縮、デプロイ、サービングを行うツールキット。 LMDeployは、大規模言語モデルを圧縮、デプロイ、サービングするためのツールキットです。Pythonスクリプトから使えるオフライン推論パイプラインと、オンラインサービング用のAPIサーバーを提供し、複数モデル・複数マシン・複数GPUでのデプロイにも対応します。
lmdeploy は無料で使えますか？ライセンスは？
lmdeploy は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
lmdeploy は今もメンテナンスされていますか？
活発にメンテナンス中。lmdeploy の最終コミットは 2026年10月21日 です。
lmdeploy は何に使えますか？
オープンソースのLLMやVLMを内部APIの背後でサービングし、GPUメモリ使用量とレイテンシを削減する。 限られた性能のNVIDIA GPUで量子化モデルを実行する。 Huawei Ascendハードウェアにモデルをデプロイする。 PythonベースのPyTorchエンジンを使って、新しいモデルアーキテクチャのプロトタイプを作成する。
lmdeploy のインストール方法は？
Python 3.12 の conda 環境を作成する: conda create -n lmdeploy python=3.12 -y conda 環境を有効化する: conda activate lmdeploy PyPI から LMDeploy をインストールする: pip install lmdeploy pipeline でオフラインのバッチ推論を実行する
lmdeploy はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/InternLM/lmdeploy

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト