Repolode
제출하기
microsoft

microsoft/MInference

동적 희소 어텐션으로 정확도 저하를 최소화하면서 장문 컨텍스트 LLM의 프리필링을 빠르게 하는 pip 설치형 라이브러리입니다.

GitHub에서 보기웹사이트
스타
1,232
포크
85
열린 이슈
99
마지막 커밋
27일 전

어떤 프로젝트인가요?

MInference는 장문 컨텍스트 LLM 추론의 프리필링 단계를 가속하는 라이브러리입니다. 프리필링은 모델이 출력을 생성하기 전에 프롬프트 전체를 처리하는 단계로, 프롬프트가 수십만 또는 백만 토큰까지 길어지면 비용이 커집니다. MInference는 실행 중에 희소 어텐션 패턴을 근사하고 커스텀 커널로 어텐션을 계산합니다. 프로젝트 설명에 따르면 정확도를 유지하면서 A100에서 프리필링 지연 시간을 최대 10배 줄일 수 있습니다.

몇 줄의 코드로 모델을 패치해 Hugging Face Transformers 및 vLLM과 통합할 수 있으며, 커스텀 파이프라인에서 사용할 수 있도록 희소 어텐션 커널도 직접 제공합니다. 또한 KV cache 수명 주기 전반에 걸쳐 장문 컨텍스트 기법을 평가하는 벤치마크 SCBench와 장문 컨텍스트 비전-언어 모델 가속을 위한 확장 기능 MMInference도 포함합니다.

지원 모델에는 Qwen2.5, LLaMA-3 및 3.1, GLM-4, Yi, Phi-3, Qwen2가 포함되며, 라이브러리 설명에 따르면 모든 디코딩 LLM에서 사용할 수 있습니다. SnapKV, StreamingLLM, Quest 등 여러 KV cache 압축 및 검색 기법도 지원합니다.

핵심 기능

  • 01프리필링을 빠르게 하기 위해 실행 중에 희소 인덱스를 근사하는 동적 희소 어텐션.
  • 02간단한 모델 패치로 Hugging Face Transformers 및 vLLM과 통합.
  • 03커스텀 추론 코드에서 희소 어텐션 커널을 직접 사용.
  • 04SnapKV, StreamingLLM, Quest를 비롯한 여러 KV cache 기법 지원.
  • 05KV cache 수명 주기 전반의 장문 컨텍스트 기법을 평가하는 SCBench 벤치마크.

활용 사례

  • 단일 GPU에서 수십만 토큰 길이의 프롬프트를 사용하는 장문 컨텍스트 LLM 서빙.
  • 문서 질의응답이나 코드베이스 분석에서 첫 토큰 생성 시간 단축.
  • 장문 컨텍스트 모델을 위한 희소 어텐션 및 KV cache 기법 연구.

빠른 시작

  1. 1

    pip으로 PyPI에서 라이브러리를 설치합니다

    pip install minference
  2. 2

    MInference로 Hugging Face 모델에 패치를 적용하고 생성을 실행합니다

사용 전 알아둘 점

  • Transformers 4.46.0 이상과 Torch, Triton 같은 GPU 중심 스택이 필요합니다.
  • 속도 향상은 긴 컨텍스트에서 주로 A100 GPU를 사용해 보고되었습니다. 따라서 짧은 프롬프트나 다른 하드웨어에서는 효과가 더 작을 수 있습니다.

포함된 컬렉션

로컬에서 LLM 실행하기

토픽

#llm-inference#sparse-attention#long-context#pytorch#vllm#transformers#kv-cache

자주 묻는 질문

MInference은(는) 무엇인가요?
동적 희소 어텐션으로 정확도 저하를 최소화하면서 장문 컨텍스트 LLM의 프리필링을 빠르게 하는 pip 설치형 라이브러리입니다. MInference는 장문 컨텍스트 LLM 추론의 프리필링 단계를 가속하는 라이브러리입니다. 프리필링은 모델이 출력을 생성하기 전에 프롬프트 전체를 처리하는 단계로, 프롬프트가 수십만 또는 백만 토큰까지 길어지면 비용이 커집니다. MInference는 실행 중에 희소 어텐션 패턴을 근사하고 커스텀 커널로 어텐션을 계산합니다. 프로젝트 설명에 따르면 정확도를 유지하면서 A100에서 프리필링 지연 시간을 최대 10배 줄일 수 있습니다.
MInference은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
MInference은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
MInference은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. MInference의 마지막 커밋은 2026년 10월 10일입니다.
MInference은(는) 어디에 사용할 수 있나요?
단일 GPU에서 수십만 토큰 길이의 프롬프트를 사용하는 장문 컨텍스트 LLM 서빙. 문서 질의응답이나 코드베이스 분석에서 첫 토큰 생성 시간 단축. 장문 컨텍스트 모델을 위한 희소 어텐션 및 KV cache 기법 연구.
MInference는 어떻게 설치하나요?
pip으로 PyPI에서 라이브러리를 설치합니다: pip install minference MInference로 Hugging Face 모델에 패치를 적용하고 생성을 실행합니다
MInference은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/MInference

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트