양자화와 프루닝으로 LLM을 압축해 vLLM에서 바로 추론에 사용할 수 있는 체크포인트를 만드는 Python 라이브러리입니다.
3.9천707PythonApache-2.0업데이트 2시간 전
#gptq
“gptq” 관련 오픈소스 프로젝트
gptq 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#gptq
gptq 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
양자화와 프루닝으로 LLM을 압축해 vLLM에서 바로 추론에 사용할 수 있는 체크포인트를 만드는 Python 라이브러리입니다.