microsoft/MInference

これは何？

主な機能

• 01プレフィルを高速化するため、実行時に疎なインデックスを近似する動的疎注意機構。
• 02シンプルなモデルパッチによるHugging Face TransformersおよびvLLMとの連携。
• 03独自の推論コードから疎注意カーネルを直接利用可能。
• 04SnapKV、StreamingLLM、Questなど、複数のKV cache手法に対応。
• 05KV cacheのライフサイクル全体を通じて長文脈手法を評価するベンチマークSCBench。

ユースケース

• 単一GPUで数十万トークンのプロンプトを処理する長文脈LLMのサービング。
• 文書の質問応答やコードベース解析における、最初のトークンが生成されるまでの時間の短縮。
• 長文脈モデル向けの疎注意機構やKV cache手法の研究。

クイックスタート

1. 1

   pip を使って PyPI からライブラリをインストールする

   pip install minference
2. 2

   MInference で Hugging Face モデルにパッチを適用し、生成を実行する

使う前に知っておきたいこと

• !Transformers 4.46.0 以降と、Torch や Triton などの GPU 向けスタックが必要です。
• !速度向上は長いコンテキストで、主に A100 GPU 上で報告されています。そのため、短いプロンプトや他のハードウェアでは効果が小さい場合があります。

収録されている特集

トピック

よくある質問

MInference とは？

動的な疎注意機構を使い、精度をほぼ保ちながら長文脈LLMのプレフィル処理を高速化する、pipでインストール可能なライブラリです。 MInferenceは、長文脈LLMの推論におけるプレフィル段階を高速化するライブラリです。プレフィルとは、出力の生成を始める前にモデルがプロンプト全体を処理する段階で、プロンプトが数十万〜100万トークンに達すると処理コストが大きくなります。MInferenceは実行時に疎な注意パターンを近似し、専用カーネルで注意計算を行います。プロジェクトによると、精度を維持しながらA100でプレフィルのレイテンシを最大10倍削減できます。

MInference は無料で使えますか？ライセンスは？

MInference は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

MInference は今もメンテナンスされていますか？

活発にメンテナンス中。MInference の最終コミットは 2026年10月10日 です。

MInference は何に使えますか？

単一GPUで数十万トークンのプロンプトを処理する長文脈LLMのサービング。 文書の質問応答やコードベース解析における、最初のトークンが生成されるまでの時間の短縮。 長文脈モデル向けの疎注意機構やKV cache手法の研究。

MInference のインストール方法は？

pip を使って PyPI からライブラリをインストールする: pip install minference MInference で Hugging Face モデルにパッチを適用し、生成を実行する

MInference はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/MInference