Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas.
48 mil3,6 milPythonApache-2.0Atualizado há 7 dias
magnitudedev/magnitude
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
Alternativa open source a:Ollama
- Estrelas
- 7,186
- Forks
- 494
- Issues abertas
- 54
- Último commit
- anteontem
O que é?
Magnitude é um mecanismo de inferência para executar modelos de pesos abertos localmente. Ao baixar um modelo, ele testa diferentes maneiras de dividir os cálculos no chip em uso — por exemplo, quantas threads da GPU trabalham em conjunto e com quanta antecedência os dados são carregados — e mantém a configuração mais rápida que não altera a saída do modelo. O projeto afirma ser, em média, cerca de 2x mais rápido que o Ollama em modelos locais populares em hardware Mac e NVIDIA.
Ele é distribuído como um app para desktop no macOS, Windows e Linux, que inclui uma CLI chamada `magnitude`. No Linux e no macOS, `magnitude server setup` o configura como um serviço iniciado na inicialização do sistema, acessível por navegadores e agentes em outras máquinas. É possível conectar agentes como Pi, OpenCode, Codex e Claude Code com um clique; qualquer outro cliente pode usar a API compatível com OpenAI.
Prompts, arquivos e modelos permanecem na máquina local, e não é necessária conexão com a internet depois que um modelo é baixado. O projeto está licenciado sob Apache 2.0.
Recursos principais
- 01Ajusta os kernels para cada modelo no chip local e encontra configurações de execução mais rápidas.
- 02Funciona com Apple Silicon, GPUs NVIDIA e AMD ou apenas com CPU.
- 03Inclui um componente de speculative decoding integrado para cada modelo.
- 04Usa cache KV quantizado para reduzir o uso de memória por sessão de agente.
- 05Compartilha caches de prefixo entre sessões simultâneas.
- 06Oferece uma API compatível com OpenAI e conexões com agentes em um clique.
Casos de uso
- Executar LLMs de pesos abertos localmente em um Mac ou workstation NVIDIA para agentes de programação.
- Hospedar um modelo local em um servidor Linux ou macOS acessível por várias máquinas.
- Manter prompts e arquivos privados evitando APIs de inferência na nuvem.
Início rápido
- 1
Baixe o Magnitude na página de lançamentos e instale-o
- 2
Abra o app, escolha um modelo recomendado em Discover e faça o download
- 3
Conecte seu agente em Connections e comece a usá-lo
Antes de usar
- O ajuste do kernel é executado ao baixar um modelo e pode levar até um minuto.
- A configuração do servidor só está documentada para Linux e macOS.
Tópicos
Perguntas frequentes
- O que é magnitude?
- Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU. Magnitude é um mecanismo de inferência para executar modelos de pesos abertos localmente. Ao baixar um modelo, ele testa diferentes maneiras de dividir os cálculos no chip em uso — por exemplo, quantas threads da GPU trabalham em conjunto e com quanta antecedência os dados são carregados — e mantém a configuração mais rápida que não altera a saída do modelo. O projeto afirma ser, em média, cerca de 2x mais rápido que o Ollama em modelos locais populares em hardware Mac e NVIDIA.
- magnitude é gratuito? Qual é a licença?
- magnitude é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- magnitude ainda é mantido?
- Manutenção ativa. O último commit de magnitude foi em 19 de out. de 2026.
- Para que posso usar magnitude?
- Executar LLMs de pesos abertos localmente em um Mac ou workstation NVIDIA para agentes de programação. Hospedar um modelo local em um servidor Linux ou macOS acessível por várias máquinas. Manter prompts e arquivos privados evitando APIs de inferência na nuvem.
- Como instalar magnitude?
- Baixe o Magnitude na página de lançamentos e instale-o Abra o app, escolha um modelo recomendado em Discover e faça o download Conecte seu agente em Connections e comece a usá-lo
- Onde consigo magnitude?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/magnitudedev/magnitude
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado há 8 horas
Aplicativo desktop de código aberto e interface web para executar, ajustar e exportar LLMs e modelos de difusão localmente, além de uma biblioteca de treinamento baseada em código.
78,3 mil7,2 milPythonApache-2.0Atualizado há 8 horas
Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.
42,8 mil4,8 milCApache-2.0Atualizado ontem
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado há 8 horas
Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,1 mil2,2 milPythonApache-2.0Atualizado há 7 horas