Intel 开源的 LLM/VLM 训练后量化工具包,可将模型压缩为低比特权重,支持 Transformers、vLLM 和 SGLang。
1684193PythonApache-2.0更新于 3小时前
#int4
与 int4 相关的精选 GitHub 开源仓库,附 AI 中文概要与关键数据。
Intel 开源的 LLM/VLM 训练后量化工具包,可将模型压缩为低比特权重,支持 Transformers、vLLM 和 SGLang。
英特尔开源的 Python 模型压缩库,通过量化、稀疏化和蒸馏压缩深度学习模型。