Microsoft가 만든 Python 라이브러리로, 중요하지 않은 토큰을 제거해 성능 저하를 최소화하면서 LLM 프롬프트와 KV cache를 최대 20배 압축합니다.
6.8천444PythonMIT업데이트 지난달
#inference-optimization
“inference-optimization” 관련 오픈소스 프로젝트
inference-optimization 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#inference-optimization
inference-optimization 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
Microsoft가 만든 Python 라이브러리로, 중요하지 않은 토큰을 제거해 성능 저하를 최소화하면서 LLM 프롬프트와 KV cache를 최대 20배 압축합니다.