JustVugg/colibri

これは何？

主な機能

• 01適応型キャッシュを介してルーティングされたエキスパートをディスクから読み込み、RAMを超えるサイズのMoEモデルを実行します。
• 02純Cで書かれており、実行時依存関係がなく、GPUも必要ありません。
• 03LinuxとWindowsではCPU、Vulkan、CUDA、macOSではMetalをサポートします。
• 04OpenAIおよびAnthropic互換API、ターミナルチャット、Webダッシュボードを提供します。
• 05ワンステップのセットアップでハードウェアを検出し、条件に合うモデルを推奨します。

ユースケース

• GPUメモリが限られたワークステーションやノートPCで、最先端規模のオープンMoEモデルを実行する。
• MoE推論の内部処理、エキスパートルーティング、メモリ配置を学ぶ。
• 大規模なオープンモデルをバックエンドにした、コーディングツール向けのローカルOpenAI互換エンドポイントを提供する。
• 確率を校正したうえで、構造化されたyes/no判定や複数選択式の判定を実行する。

クイックスタート

1. 1

   Ubuntu/Debian に git、Python、ビルドツールをインストールする

   sudo apt install git python3 build-essential
2. 2

   リポジトリをクローンする

   git clone https://github.com/JustVugg/colibri
3. 3

   フォルダーに移動してセットアップを実行する。モデルが選択され、colibri が起動する

   cd colibri && ./start-here.sh

使う前に知っておきたいこと

• !非常に大きなモデルには 16 GB 以上の RAM と数十〜数百 GB のディスク容量が必要で、最大級のモデルでは 1 TB を超える容量が必要です。
• !大規模モデルはエキスパートをディスクからストリーミングするため、速度が遅く（多くの場合、毎秒 1 トークン未満）、ディスク速度にも左右されます。
• !Qwen-Image-2.1 は非商用利用のみ許可されています。

トピック

よくある質問

colibri とは？

ルーティングされたエキスパートをディスクから読み込み、一般的なハードウェアで超大規模MoEモデルを動かす純C製推論エンジン。 colibriは、手元にあるマシンで超大規模なオープンMoE言語モデルを動かします。数千億パラメータを持つMoEモデルでも、トークンごとに有効化されるのはモデルの一部だけです。そこでcolibriは、密な部分をRAMに保持し、ルーターから要求されたエキスパートをディスクから読み込みます。キャッシュは、利用中のワークロードでどのエキスパートが使われるかを学習します。GPUは必須ではありませんが、搭載されている場合は、最も頻繁に使われるエキスパートや密なレイヤーをGPUに保持できます。

colibri は無料で使えますか？ライセンスは？

colibri は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

colibri は今もメンテナンスされていますか？

活発にメンテナンス中。colibri の最終コミットは 2026年10月19日 です。

colibri は何に使えますか？

GPUメモリが限られたワークステーションやノートPCで、最先端規模のオープンMoEモデルを実行する。 MoE推論の内部処理、エキスパートルーティング、メモリ配置を学ぶ。 大規模なオープンモデルをバックエンドにした、コーディングツール向けのローカルOpenAI互換エンドポイントを提供する。 確率を校正したうえで、構造化されたyes/no判定や複数選択式の判定を実行する。

colibri のインストール方法は？

Ubuntu/Debian に git、Python、ビルドツールをインストールする: sudo apt install git python3 build-essential リポジトリをクローンする: git clone https://github.com/JustVugg/colibri フォルダーに移動してセットアップを実行する。モデルが選択され、colibri が起動する: cd colibri && ./start-here.sh

colibri はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/JustVugg/colibri