vllm-project / llm-compressorGitHub一个用于压缩大语言模型的 Python 库,通过量化和剪枝生成可直接在 vLLM 中推理的模型。AI 与机器学习#llm#quantization#model-compression#vllm#inference3903707PythonApache-2.0更新于 3小时前