Intel의 LLM 및 VLM 후학습 양자화 툴킷으로, Transformers, vLLM, SGLang용 모델을 저비트 가중치로 압축합니다.
1.7천193PythonApache-2.0업데이트 4시간 전
#int4
“int4” 관련 오픈소스 프로젝트
int4 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 2개
PyTorch, JAX, ONNX에서 양자화, 희소화, 증류를 통해 딥러닝 모델을 압축하는 Intel의 오픈소스 Python 라이브러리입니다.
2.7천331PythonApache-2.0업데이트 22시간 전