Repolode
Предложить
microsoft

microsoft/MInference

Устанавливаемая через pip библиотека ускоряет prefill длинноконтекстных LLM с помощью динамического разреженного attention и почти без потери точности.

Открыть на GitHubСайт
Звёзды
1,232
Форки
85
Открытые issues
99
Последний коммит
29 дней назад

Что это?

MInference — библиотека для ускорения этапа prefill при инференсе длинноконтекстных LLM. Во время prefill модель обрабатывает весь промпт перед генерацией ответа, и по мере роста промптов до сотен тысяч или миллиона токенов этот этап становится всё затратнее. MInference на лету аппроксимирует разреженные паттерны attention и вычисляет attention с помощью специализированных kernels. По данным проекта, это может сократить задержку prefill до 10 раз на A100 без потери точности.

Библиотека интегрируется с Hugging Face Transformers и vLLM: достаточно пропатчить модель несколькими строками кода. Кроме того, разреженные attention kernels можно использовать напрямую в собственных пайплайнах. В проект также входят SCBench — бенчмарк для оценки методов работы с длинным контекстом на всех этапах жизненного цикла KV cache — и MMInference, расширение для ускорения длинноконтекстных vision-language моделей.

Среди поддерживаемых моделей — Qwen2.5, LLaMA-3 и 3.1, GLM-4, Yi, Phi-3 и Qwen2. В библиотеке заявлена совместимость с любой LLM с авторегрессионной генерацией. Также поддерживаются несколько методов сжатия и извлечения данных из KV cache, включая SnapKV, StreamingLLM и Quest.

Ключевые возможности

  • 01Динамический разреженный attention на лету аппроксимирует разреженные индексы и ускоряет prefill.
  • 02Интеграция с Hugging Face Transformers и vLLM через простой патч модели.
  • 03Прямой доступ к разреженным attention kernels для собственного кода инференса.
  • 04Поддержка нескольких методов работы с KV cache, включая SnapKV, StreamingLLM и Quest.
  • 05Бенчмарк SCBench для оценки методов работы с длинным контекстом на всех этапах жизненного цикла KV cache.

Сценарии использования

  • Запуск длинноконтекстных LLM с промптами на сотни тысяч токенов на одном GPU.
  • Сокращение времени до первого токена при ответах на вопросы по документам или анализе кодовой базы.
  • Исследование разреженного attention и методов работы с KV cache для длинноконтекстных моделей.

Быстрый старт

  1. 1

    Установите библиотеку из PyPI с помощью pip

    pip install minference
  2. 2

    Примените патч к модели Hugging Face с помощью MInference и запустите генерацию

Что важно знать

  • Требуются Transformers версии 4.46.0 или новее и стек, ориентированный на GPU, например Torch и Triton.
  • Ускорение отмечено на длинных контекстах и преимущественно на GPU A100, поэтому на коротких промптах или другом оборудовании эффект может быть меньше.

В подборках

Запуск LLM локально

Темы

#llm-inference#sparse-attention#long-context#pytorch#vllm#transformers#kv-cache

Частые вопросы

Что такое MInference?
Устанавливаемая через pip библиотека ускоряет prefill длинноконтекстных LLM с помощью динамического разреженного attention и почти без потери точности. MInference — библиотека для ускорения этапа prefill при инференсе длинноконтекстных LLM. Во время prefill модель обрабатывает весь промпт перед генерацией ответа, и по мере роста промптов до сотен тысяч или миллиона токенов этот этап становится всё затратнее. MInference на лету аппроксимирует разреженные паттерны attention и вычисляет attention с помощью специализированных kernels. По данным проекта, это может сократить задержку prefill до 10 раз на A100 без потери точности.
MInference можно использовать бесплатно? Какая у него лицензия?
MInference распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
MInference всё ещё поддерживается?
Активно поддерживается. Последний коммит в MInference — 10 окт. 2026 г..
Для чего можно использовать MInference?
Запуск длинноконтекстных LLM с промптами на сотни тысяч токенов на одном GPU. Сокращение времени до первого токена при ответах на вопросы по документам или анализе кодовой базы. Исследование разреженного attention и методов работы с KV cache для длинноконтекстных моделей.
Как установить MInference?
Установите библиотеку из PyPI с помощью pip: pip install minference Примените патч к модели Hugging Face с помощью MInference и запустите генерацию
Где скачать MInference?
Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/MInference

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты