Python-библиотека для сжатия LLM с помощью квантования и прунинга, создающая чекпойнты, которые vLLM загружает напрямую для инференса.
3,9 тыс.707PythonApache-2.0Обновлён 2 часа назад
#gptq
Open source проекты по теме «gptq»
Отобранные репозитории GitHub по теме gptq с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий