Repolode
Enviar
JustVugg

JustVugg/colibri

Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.

Ver no GitHubSite
Estrelas
42,807
Forks
4,789
Issues abertas
151
Último commit
ontem

O que é?

colibri executa modelos de linguagem MoE abertos muito grandes na máquina que você já tem. Um modelo MoE com centenas de bilhões de parâmetros ativa apenas uma pequena parte a cada token, então o colibri mantém a parte densa na RAM e lê do disco os especialistas selecionados, conforme o roteador os solicita, usando um cache que aprende quais especialistas sua carga de trabalho utiliza. A GPU é opcional; se houver uma, ela pode armazenar os especialistas mais usados e as camadas densas.

O mecanismo é escrito em C puro, com um arquivo-fonte por família de modelos e sem dependências em tempo de execução. Ele oferece suporte a vários modelos, incluindo GLM-5.2, DeepSeek V4 Flash, Qwen3.6, Kimi K3 e OLMoE, além de um modelo de imagem (Qwen-Image-2.1) e modelos de decisão. Disponibiliza APIs HTTP compatíveis com OpenAI e Anthropic, um chat no terminal e um painel web. Um script de configuração executado em uma etapa detecta o hardware, recomenda um modelo que caiba na RAM e no disco, compila o mecanismo e baixa os pesos.

O desempenho depende muito do hardware: a velocidade de geração varia de uma fração de token por segundo em um laptop simples, com modelos carregados do disco, a vários tokens por segundo com os especialistas residentes em GPUs. O projeto publica medições para cada máquina.

Recursos principais

  • 01Executa modelos MoE maiores que a RAM, carregando do disco os especialistas selecionados por meio de um cache adaptativo.
  • 02Escrito em C puro, sem dependências em tempo de execução e sem exigir GPU.
  • 03Oferece suporte a CPU, Vulkan, CUDA no Linux e no Windows, e Metal no macOS.
  • 04Disponibiliza APIs compatíveis com OpenAI e Anthropic, um chat no terminal e um painel web.
  • 05A configuração em uma etapa detecta o hardware e recomenda um modelo que caiba na máquina.

Casos de uso

  • Executar um modelo MoE aberto de escala avançada em uma workstation ou laptop com pouca memória de GPU.
  • Estudar os detalhes internos da inferência MoE, o roteamento de especialistas e a distribuição de memória.
  • Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação, usando um modelo aberto grande.
  • Executar decisões estruturadas de sim/não ou de múltipla escolha com probabilidades calibradas.

Início rápido

  1. 1

    Instale git, Python e ferramentas de compilação no Ubuntu/Debian

    sudo apt install git python3 build-essential
  2. 2

    Clone o repositório

    git clone https://github.com/JustVugg/colibri
  3. 3

    Acesse a pasta e execute a configuração, que escolhe um modelo e inicia o colibri

    cd colibri && ./start-here.sh

Antes de usar

  • Modelos muito grandes precisam de 16 GB ou mais de RAM e dezenas a centenas de GB de espaço em disco; os maiores precisam de mais de 1 TB.
  • Modelos grandes transmitem os especialistas a partir do disco, por isso são lentos (muitas vezes abaixo de 1 token por segundo) e dependem da velocidade do disco.
  • Qwen-Image-2.1 é licenciado apenas para uso não comercial.

Tópicos

#llm-inference#mixture-of-experts#local-llm#vulkan#cuda#openai-compatible#offloading

Perguntas frequentes

O que é colibri?
Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda. colibri executa modelos de linguagem MoE abertos muito grandes na máquina que você já tem. Um modelo MoE com centenas de bilhões de parâmetros ativa apenas uma pequena parte a cada token, então o colibri mantém a parte densa na RAM e lê do disco os especialistas selecionados, conforme o roteador os solicita, usando um cache que aprende quais especialistas sua carga de trabalho utiliza. A GPU é opcional; se houver uma, ela pode armazenar os especialistas mais usados e as camadas densas.
colibri é gratuito? Qual é a licença?
colibri é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
colibri ainda é mantido?
Manutenção ativa. O último commit de colibri foi em 19 de out. de 2026.
Para que posso usar colibri?
Executar um modelo MoE aberto de escala avançada em uma workstation ou laptop com pouca memória de GPU. Estudar os detalhes internos da inferência MoE, o roteamento de especialistas e a distribuição de memória. Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação, usando um modelo aberto grande. Executar decisões estruturadas de sim/não ou de múltipla escolha com probabilidades calibradas.
Como instalar colibri?
Instale git, Python e ferramentas de compilação no Ubuntu/Debian: sudo apt install git python3 build-essential Clone o repositório: git clone https://github.com/JustVugg/colibri Acesse a pasta e execute a configuração, que escolhe um modelo e inicia o colibri: cd colibri && ./start-here.sh
Onde consigo colibri?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/JustVugg/colibri

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados