Mesh-LLM/mesh-llm

Что это?

Ключевые возможности

• 01Предоставляет единый API /v1, совместимый с OpenAI, для всех узлов mesh-сети.
• 02Направляет запросы по имени модели к локальному узлу или узлу сети, где она запущена.
• 03Распределяет слои моделей, слишком больших для одной машины, между узлами.
• 04Шифрует трафик между узлами с помощью QUIC.
• 05Поддерживает приватные mesh-сети по invite-токенам и публичные, обнаруживаемые через Nostr.
• 06Включает веб-консоль и headless-режим для серверов.

Сценарии использования

• Объединение свободных GPU нескольких рабочих станций для запуска модели, которая не помещается ни на одной из них.
• Предоставление команде общего приватного endpoint для LLM на машинах в локальной сети.
• Подключение агентских инструментов для программирования, таких как Claude Code или OpenCode, к собственному пулу моделей.
• Запуск одной модели GGUF как отдельного OpenAI-совместимого сервера для разработки.

Быстрый старт

1. 1

   Запустите официальный скрипт установки для вашей ОС (см. README).

2. 2

   Или установите через Homebrew на Mac с Apple Silicon.

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   Завершите настройку.

   mesh-llm setup
4. 4

   Подключитесь к публичной mesh-сети и начните раздачу на порту 9337.

   mesh-llm serve --auto

Что важно знать

• !В нативной установке на Windows есть известные ошибки, поэтому пока в README предлагается предварительная сборка.
• !Функция fan-out модели "mesh" (Mixture-of-Agents) экспериментальная и может измениться.
• !Для сборки из исходного кода нужны несколько компонентов toolchain, включая just, cmake, Rust, sccache, быстрый линкер и Node.js 24.

В подборках

Темы

Частые вопросы

Что такое mesh-llm?

Объединяет GPU и память нескольких машин в один API, совместимый с OpenAI, и направляет запросы к локальным моделям, моделям на узлах сети или распределённым по этапам. Mesh LLM объединяет GPU и память нескольких машин и предоставляет единый endpoint, совместимый с OpenAI, по адресу localhost:9337/v1. Если модель помещается на одном узле, она запускается локально; иначе запрос перенаправляется на узел, где модель доступна, а если она не помещается ни на одной машине, её слои распределяются по узлам.

mesh-llm можно использовать бесплатно? Какая у него лицензия?

mesh-llm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

mesh-llm всё ещё поддерживается?

Активно поддерживается. Последний коммит в mesh-llm — 7 нояб. 2026 г..

Для чего можно использовать mesh-llm?

Объединение свободных GPU нескольких рабочих станций для запуска модели, которая не помещается ни на одной из них. Предоставление команде общего приватного endpoint для LLM на машинах в локальной сети. Подключение агентских инструментов для программирования, таких как Claude Code или OpenCode, к собственному пулу моделей. Запуск одной модели GGUF как отдельного OpenAI-совместимого сервера для разработки.

Как установить mesh-llm?

Запустите официальный скрипт установки для вашей ОС (см. README). Или установите через Homebrew на Mac с Apple Silicon.: brew install Mesh-LLM/tap/mesh-llm Завершите настройку.: mesh-llm setup Подключитесь к публичной mesh-сети и начните раздачу на порту 9337.: mesh-llm serve --auto

Где скачать mesh-llm?

Исходный код и инструкции по установке — на GitHub: https://github.com/Mesh-LLM/mesh-llm