Mesh-LLM/mesh-llm

¿Qué es?

Funciones clave

• 01Ofrece una única API /v1 compatible con OpenAI para todos los nodos de la mesh.
• 02Enruta las solicitudes, según el nombre del modelo, al nodo local o remoto que lo sirve.
• 03Divide los modelos demasiado grandes para una máquina en etapas de capas distribuidas entre varios nodos.
• 04Cifra de extremo a extremo con QUIC el tráfico entre pares.
• 05Admite meshes privadas mediante tokens de invitación y meshes públicas mediante la detección con Nostr.
• 06Incluye una consola web y un modo sin interfaz gráfica para servidores.

Casos de uso

• Agrupar GPU disponibles de varias estaciones de trabajo para ejecutar un modelo que supera la capacidad de cualquiera de ellas por separado.
• Ofrecer a un equipo un endpoint privado de LLM compartido entre máquinas de una LAN.
• Conectar agentes de programación como Claude Code u OpenCode a un conjunto de modelos autoalojado.
• Ejecutar un único modelo GGUF como servidor independiente compatible con OpenAI para desarrollo.

Inicio rápido

1. 1

   Ejecuta el script de instalación oficial para tu sistema operativo (consulta el README).

2. 2

   O instala con Homebrew en Macs con Apple Silicon.

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   Completa la configuración.

   mesh-llm setup
4. 4

   Únete a la malla pública y empieza a servir en el puerto 9337.

   mesh-llm serve --auto

Antes de usarlo

• !La instalación nativa en Windows tiene errores conocidos, por lo que, por ahora, el README indica una versión preliminar.
• !La función de fan-out del modelo "mesh" (Mixture-of-Agents) es experimental y puede cambiar.
• !Para compilar desde el código fuente se necesitan varias herramientas, como just, cmake, Rust, sccache, un enlazador rápido y Node.js 24.

En colecciones

Temas

Preguntas frecuentes

¿Qué es mesh-llm?

Agrupa GPU y memoria de varias máquinas en una API compatible con OpenAI y enruta las solicitudes a modelos locales, de otros nodos o divididos en etapas. Mesh LLM combina las GPU y la memoria de varias máquinas y las ofrece como un único endpoint compatible con OpenAI, disponible de forma predeterminada en localhost:9337/v1. Un modelo se ejecuta localmente si un nodo puede alojarlo; si no, la solicitud se enruta mediante el campo model al nodo que sí pueda, o el modelo se divide en etapas de capas distribuidas entre varios nodos cuando es demasiado grande para una sola máquina.

¿mesh-llm es gratuito? ¿Qué licencia tiene?

mesh-llm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿mesh-llm sigue mantenido?

Mantenimiento activo. El último commit de mesh-llm fue el 7 nov 2026.

¿Para qué puedo usar mesh-llm?

Agrupar GPU disponibles de varias estaciones de trabajo para ejecutar un modelo que supera la capacidad de cualquiera de ellas por separado. Ofrecer a un equipo un endpoint privado de LLM compartido entre máquinas de una LAN. Conectar agentes de programación como Claude Code u OpenCode a un conjunto de modelos autoalojado. Ejecutar un único modelo GGUF como servidor independiente compatible con OpenAI para desarrollo.

¿Cómo se instala mesh-llm?

Ejecuta el script de instalación oficial para tu sistema operativo (consulta el README). O instala con Homebrew en Macs con Apple Silicon.: brew install Mesh-LLM/tap/mesh-llm Completa la configuración.: mesh-llm setup Únete a la malla pública y empieza a servir en el puerto 9337.: mesh-llm serve --auto

¿Dónde consigo mesh-llm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Mesh-LLM/mesh-llm