Набор инструментов Intel для посттренировочной квантизации LLM и VLM, который сжимает модели до низкой разрядности весов для Transformers, vLLM и SGLang.
1,7 тыс.193PythonApache-2.0Обновлён 3 часа назад
#int4
Open source проекты по теме «int4»
Отобранные репозитории GitHub по теме int4 с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Открытая Python-библиотека Intel для сжатия моделей глубокого обучения с помощью квантования, разреживания и дистилляции в PyTorch, JAX и ONNX.
2,7 тыс.331PythonApache-2.0Обновлён 22 часа назад