JustVugg/colibri

Что это?

Ключевые возможности

• 01Запускает MoE-модели, размер которых превышает объём RAM, подгружая выбранных экспертов с диска через адаптивный кэш.
• 02Написан на чистом C, не имеет зависимостей во время выполнения и не требует GPU.
• 03Поддерживает CPU, Vulkan, CUDA в Linux и Windows, а также Metal в macOS.
• 04Предоставляет API, совместимые с OpenAI и Anthropic, чат в терминале и веб-панель.
• 05Настройка в один шаг определяет оборудование и рекомендует подходящую модель.

Сценарии использования

• Запуск открытой MoE-модели передового масштаба на рабочей станции или ноутбуке с ограниченной памятью GPU.
• Изучение внутреннего устройства инференса MoE, маршрутизации экспертов и размещения данных в памяти.
• Запуск локальной конечной точки, совместимой с OpenAI, для инструментов программирования на базе большой открытой модели.
• Выполнение структурированных решений «да/нет» или выбор из нескольких вариантов с калиброванными вероятностями.

Быстрый старт

1. 1

   Установите git, Python и инструменты сборки в Ubuntu/Debian

   sudo apt install git python3 build-essential
2. 2

   Клонируйте репозиторий

   git clone https://github.com/JustVugg/colibri
3. 3

   Перейдите в папку и запустите настройку: она выберет модель и запустит colibri

   cd colibri && ./start-here.sh

Что важно знать

• !Для очень больших моделей требуется не менее 16 ГБ ОЗУ и десятки или сотни ГБ дискового пространства; для самых больших моделей нужно более 1 ТБ.
• !Крупные модели передают экспертов с диска, поэтому работают медленно (часто менее 1 токена в секунду), а скорость зависит от скорости диска.
• !Qwen-Image-2.1 лицензирован только для некоммерческого использования.

Темы

Частые вопросы

Что такое colibri?

Механизм инференса на чистом C запускает очень большие MoE-модели на обычном оборудовании, подгружая выбранных экспертов с диска. colibri запускает очень большие открытые языковые MoE-модели на компьютере, который у вас уже есть. MoE-модель на сотни миллиардов параметров активирует для каждого токена лишь небольшую часть своих параметров, поэтому colibri хранит плотную часть модели в RAM, а выбранных маршрутизатором экспертов читает с диска по мере необходимости через кэш, который адаптируется к экспертам, используемым в вашей рабочей нагрузке. GPU не обязателен; если он есть, на нём можно разместить наиболее востребованных экспертов и плотные слои.

colibri можно использовать бесплатно? Какая у него лицензия?

colibri распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

colibri всё ещё поддерживается?

Активно поддерживается. Последний коммит в colibri — 19 окт. 2026 г..

Для чего можно использовать colibri?

Запуск открытой MoE-модели передового масштаба на рабочей станции или ноутбуке с ограниченной памятью GPU. Изучение внутреннего устройства инференса MoE, маршрутизации экспертов и размещения данных в памяти. Запуск локальной конечной точки, совместимой с OpenAI, для инструментов программирования на базе большой открытой модели. Выполнение структурированных решений «да/нет» или выбор из нескольких вариантов с калиброванными вероятностями.

Как установить colibri?

Установите git, Python и инструменты сборки в Ubuntu/Debian: sudo apt install git python3 build-essential Клонируйте репозиторий: git clone https://github.com/JustVugg/colibri Перейдите в папку и запустите настройку: она выберет модель и запустит colibri: cd colibri && ./start-here.sh

Где скачать colibri?

Исходный код и инструкции по установке — на GitHub: https://github.com/JustVugg/colibri