Mesh-LLM/mesh-llm

O que é?

Recursos principais

• 01Disponibiliza uma única API /v1 compatível com OpenAI em todos os nós da mesh.
• 02Direciona as requisições pelo nome do modelo ao nó local ou par que o disponibiliza.
• 03Divide modelos grandes demais para uma máquina em etapas de camadas distribuídas entre os nós.
• 04Criptografa de ponta a ponta o tráfego entre pares com QUIC.
• 05Oferece suporte a meshes privadas por meio de tokens de convite e a meshes públicas descobertas pelo Nostr.
• 06Inclui um console web e um modo headless para servidores.

Casos de uso

• Agrupar GPUs ociosas de várias estações de trabalho para executar um modelo maior do que qualquer uma delas comportaria sozinha.
• Disponibilizar para uma equipe um endpoint privado e compartilhado de LLM entre máquinas em uma LAN.
• Conectar agentes de programação como Claude Code ou OpenCode a um conjunto de modelos auto-hospedado.
• Executar um único modelo GGUF como servidor independente compatível com OpenAI durante o desenvolvimento.

Início rápido

1. 1

   Execute o script oficial de instalação para seu sistema operacional (consulte o README).

2. 2

   Ou instale com Homebrew em Macs com Apple Silicon.

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   Conclua a configuração.

   mesh-llm setup
4. 4

   Entre na malha pública e comece a servir na porta 9337.

   mesh-llm serve --auto

Antes de usar

• !A instalação nativa no Windows tem bugs conhecidos; por isso, por enquanto, o README indica uma versão pré-lançamento.
• !O recurso de fan-out do modelo "mesh" (Mixture-of-Agents) é experimental e pode mudar.
• !Para compilar a partir do código-fonte, são necessários vários componentes de toolchain, incluindo just, cmake, Rust, sccache, um linker rápido e Node.js 24.

Em coleções

Tópicos

Perguntas frequentes

O que é mesh-llm?

Agrupa GPUs e memória de várias máquinas em uma única API compatível com OpenAI, direcionando requisições a modelos locais, pares ou divididos em etapas. O Mesh LLM combina GPUs e memória de várias máquinas e as disponibiliza em um único endpoint compatível com OpenAI, servido por padrão em localhost:9337/v1. Um modelo é executado localmente quando um nó consegue hospedá-lo; caso contrário, a requisição é encaminhada pelo campo model a um nó par que possa executá-lo ou, se for grande demais para qualquer máquina, o modelo é dividido em etapas de camadas distribuídas entre os nós.

mesh-llm é gratuito? Qual é a licença?

mesh-llm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

mesh-llm ainda é mantido?

Manutenção ativa. O último commit de mesh-llm foi em 6 de nov. de 2026.

Para que posso usar mesh-llm?

Agrupar GPUs ociosas de várias estações de trabalho para executar um modelo maior do que qualquer uma delas comportaria sozinha. Disponibilizar para uma equipe um endpoint privado e compartilhado de LLM entre máquinas em uma LAN. Conectar agentes de programação como Claude Code ou OpenCode a um conjunto de modelos auto-hospedado. Executar um único modelo GGUF como servidor independente compatível com OpenAI durante o desenvolvimento.

Como instalar mesh-llm?

Execute o script oficial de instalação para seu sistema operacional (consulte o README). Ou instale com Homebrew em Macs com Apple Silicon.: brew install Mesh-LLM/tap/mesh-llm Conclua a configuração.: mesh-llm setup Entre na malha pública e comece a servir na porta 9337.: mesh-llm serve --auto

Onde consigo mesh-llm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Mesh-LLM/mesh-llm