“gguf” 相关开源项目

一款用 Go 编写的命令行工具与 Web 界面，用于从 HuggingFace Hub 并行、可断点续传地下载模型和数据集。

一个纯 C 编写的轻量 LLM 推理引擎，可在树莓派等低成本开发板上以约 45MB 内存运行 GGUF 格式的小型模型。

开源原生多模态模型，在统一架构内同时完成图像理解、文生图和图像编辑。

通过单个 YAML 配置微调和后训练大模型的命令行工具，支持分层流式加载，可在 4 GB 显卡上训练 8B 模型。