JustVugg/colibri

这是什么？

核心功能

• 01通过自适应缓存从磁盘按需读取路由专家，运行超过内存容量的 MoE 模型。
• 02纯 C 编写，无运行时依赖，不强制要求 GPU。
• 03支持 CPU、Vulkan，以及 Linux/Windows 上的 CUDA 和 macOS 上的 Metal。
• 04提供兼容 OpenAI 和 Anthropic 的 API、终端对话和 Web 面板。
• 05一键安装会检测硬件并推荐合适的模型。

适用场景

• 在显存有限的工作站或笔记本上运行前沿规模的开源 MoE 模型。
• 研究 MoE 推理机制、专家路由和内存分层策略。
• 为编程工具提供本地兼容 OpenAI 接口的服务，背后接入大型开源模型。
• 基于概率进行是/否或多选判断的决策场景。

快速上手

1. 1

   在 Ubuntu/Debian 上安装 git、Python 和构建工具

   sudo apt install git python3 build-essential
2. 2

   克隆仓库

   git clone https://github.com/JustVugg/colibri
3. 3

   进入目录并运行安装脚本，它会选择模型并启动 colibri

   cd colibri && ./start-here.sh

使用前须知

• !超大模型需要至少 16 GB 内存，以及数十到数百 GB 的磁盘空间，最大的模型需要超过 1 TB。
• !大模型的专家权重从磁盘流式读取，速度较慢（通常低于每秒 1 个 token），并取决于磁盘速度。
• !Qwen-Image-2.1 的许可证仅限非商业用途。

标签

常见问题

colibri 是什么？

纯 C 推理引擎，通过从磁盘按需读取路由专家，在普通硬件上运行超大混合专家（MoE）模型。 colibri 可以在你已有的机器上运行超大规模的开源混合专家（MoE）语言模型。这类模型参数量可达数千亿，但每个 token 只激活其中一小部分。colibri 把稠密部分保留在内存中，路由专家则按路由器的请求从磁盘读取，并通过一个会学习你的使用模式的缓存来管理。有 GPU 时可以用来存放最热的专家和稠密层，没有 GPU 也能运行。

colibri 可以免费使用吗？用的什么许可证？

colibri 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

colibri 还在维护吗？

活跃维护中。colibri 最近一次提交是在 2026年10月19日。

colibri 适合用来做什么？

在显存有限的工作站或笔记本上运行前沿规模的开源 MoE 模型。 研究 MoE 推理机制、专家路由和内存分层策略。 为编程工具提供本地兼容 OpenAI 接口的服务，背后接入大型开源模型。 基于概率进行是/否或多选判断的决策场景。

colibri 怎么安装和运行？

在 Ubuntu/Debian 上安装 git、Python 和构建工具: sudo apt install git python3 build-essential 克隆仓库: git clone https://github.com/JustVugg/colibri 进入目录并运行安装脚本，它会选择模型并启动 colibri: cd colibri && ./start-here.sh

在哪里获取 colibri？

源代码和安装说明在 GitHub 上：https://github.com/JustVugg/colibri