kvcache-ai / ktransformersGitHub面向大型 MoE 模型的 CPU-GPU 异构推理与微调框架,可在有限显存下运行超大模型。AI 与机器学习#llm-inference#fine-tuning#mixture-of-experts#cpu-offload#quantization2万1602PythonApache-2.0更新于 前天