“quantization” 相关开源项目

在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型，并提供本地 OpenAI/Anthropic 兼容接口。

面向消费级硬件的边缘端 MoE 推理引擎，通过 GPU 与 CPU 协同运行超大开源模型。

一个纯 C 编写的轻量 LLM 推理引擎，可在树莓派等低成本开发板上以约 45MB 内存运行 GGUF 格式的小型模型。