Repolode
제출하기
ModelCloud

ModelCloud/GPTQModel

대규모 언어 모델을 양자화하고(NVIDIA, AMD, Intel, Apple 및 CPU 하드웨어에서 GPTQ, AWQ, GGUF, FP8, EXL3 등 지원) 서빙하는 툴킷입니다.

GitHub에서 보기웹사이트
스타
1,289
포크
214
열린 이슈
11
마지막 커밋
3시간 전

어떤 프로젝트인가요?

GPTQModel은 양자화를 통해 대규모 언어 모델을 압축하는 Python 플랫폼입니다. GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ, GPTAQ 등의 방식을 지원하며, 보정, 양자화, 품질 평가, 저장, 다시 로드, 가속 추론을 위한 단일 API를 제공합니다.

양자화된 모델은 Hugging Face Transformers, Optimum, PEFT를 통해 로드하고 vLLM 또는 SGLang으로 서빙할 수 있습니다. 프로젝트는 NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU, Intel XPU, Apple Silicon(MPS 및 MLX), Intel/AMD/Apple CPU의 커널 지원을 명시하고 있습니다. 사용자는 레이어별로 서로 다른 양자화 설정을 지정하고, 특정 모듈을 제외하며, 레이어 수준 체크포인트에서 중단된 양자화 작업을 재개할 수 있습니다.

패키지는 pip으로 설치하며 OpenAI 호환 서빙 엔드포인트를 제공합니다. 지원 모델에는 Llama, Qwen, Gemma, Mistral, DeepSeek 및 비전-언어 아키텍처가 폭넓게 포함됩니다.

핵심 기능

  • 01단일 API에서 GPTQ, AWQ, GGUF, FP8, EXL3, QQQ, VPTQ 등의 양자화 방식을 지원합니다.
  • 02Transformers에서 양자화 체크포인트를 로드하고 vLLM 또는 SGLang으로 서빙합니다.
  • 03NVIDIA, AMD, Huawei Ascend, Intel XPU, Apple Silicon 및 CPU 백엔드에서 실행됩니다.
  • 04모듈별 양자화 설정을 지정하고 특정 레이어를 제외할 수 있습니다.
  • 05레이어 수준 체크포인트에서 시간이 오래 걸리는 양자화 작업을 재개할 수 있습니다.
  • 06로드한 모델을 위한 OpenAI 호환 API 엔드포인트를 제공합니다.

활용 사례

  • Llama 또는 Qwen 모델을 압축해 GPU 메모리 사용량을 줄입니다.
  • vLLM 또는 SGLang 배포용 양자화 체크포인트를 생성합니다.
  • MLX 형식으로 Apple Silicon에서 모델을 양자화합니다.
  • 혼합 정밀도 또는 레이어별 양자화 레시피를 실험합니다.

사용 전 알아둘 점

  • 라이선스 메타데이터가 NOASSERTION이므로 사용하기 전에 저장소에서 라이선스를 직접 확인해야 합니다.
  • 실험적인 W4A 경로 등 일부 기능은 NVIDIA SM89+ 또는 GB10과 같은 특정 하드웨어가 필요합니다.
  • 최근 릴리스에서 여러 API가 폐기되거나 변경되어 기존 코드를 마이그레이션해야 할 수 있습니다.

토픽

#llm#quantization#gptq#awq#model-compression#inference#gguf#pytorch#optimum#peft

자주 묻는 질문

GPTQModel은(는) 무엇인가요?
대규모 언어 모델을 양자화하고(NVIDIA, AMD, Intel, Apple 및 CPU 하드웨어에서 GPTQ, AWQ, GGUF, FP8, EXL3 등 지원) 서빙하는 툴킷입니다. GPTQModel은 양자화를 통해 대규모 언어 모델을 압축하는 Python 플랫폼입니다. GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ, GPTAQ 등의 방식을 지원하며, 보정, 양자화, 품질 평가, 저장, 다시 로드, 가속 추론을 위한 단일 API를 제공합니다.
GPTQModel은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
GPTQModel은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
GPTQModel은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. GPTQModel의 마지막 커밋은 2026년 11월 7일입니다.
GPTQModel은(는) 어디에 사용할 수 있나요?
Llama 또는 Qwen 모델을 압축해 GPU 메모리 사용량을 줄입니다. vLLM 또는 SGLang 배포용 양자화 체크포인트를 생성합니다. MLX 형식으로 Apple Silicon에서 모델을 양자화합니다. 혼합 정밀도 또는 레이어별 양자화 레시피를 실험합니다.
GPTQModel은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ModelCloud/GPTQModel

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트