Biblioteca Python para compactar LLMs com quantização e poda, gerando checkpoints que podem ser carregados diretamente no vLLM para inferência.
3,9 mil707PythonApache-2.0Atualizado há 2 horas
#gptq
Projetos open source sobre “gptq”
Repositórios do GitHub selecionados relacionados a gptq, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório