b4rtaz/distributed-llama

Что это?

Ключевые возможности

• 01Распределяет вычисления модели между несколькими устройствами с помощью тензорного параллелизма.
• 02Синхронизирует узлы по стандартному Ethernet.
• 03Работает на Linux, macOS и Windows; оптимизирован для ARM и x86_64 с AVX2.
• 04Предоставляет чат в CLI, бенчмарк инференса, режим рабочего узла и API-сервер.
• 05Позволяет одной командой настроить несколько моделей Llama, DeepSeek и Qwen 3.

Сценарии использования

• Запуск модели Llama класса 70B на нескольких домашних компьютерах или мини-ПК.
• Эксперименты с инференсом LLM на кластерах Raspberry Pi.
• Развёртывание локального API в стиле OpenAI на небольшой группе компьютеров в LAN.

Быстрый старт

1. 1

   Установите Python 3 и компилятор C++, затем клонируйте репозиторий

2. 2

   Настройте корневой узел одной командой (она загрузит модель и токенизатор)

   python launch.py llama3_2_1b_instruct_q40

Что важно знать

• !Число узлов должно быть равно 1, 2, 4 или 2^n; максимум — число KV-голов модели.
• !Поддерживаются только модели q40 с типом буфера q80 и модели f32 с типом буфера f32.
• !Поддержка Vulkan является экспериментальной.

В подборках

Темы

Частые вопросы

Что такое distributed-llama?

Инструмент на C++ распределяет инференс LLM между несколькими домашними устройствами по Ethernet, ускоряя генерацию. Distributed Llama объединяет несколько обычных компьютеров — например, домашних устройств или плат Raspberry Pi — в кластер для запуска больших языковых моделей. Корневой узел загружает модель и веса, передаёт каждому рабочему узлу его часть сети и синхронизирует состояние, а рабочие узлы обрабатывают свои части. Для увеличения скорости инференса при добавлении устройств используются тензорный параллелизм и быстрая синхронизация по Ethernet.

distributed-llama можно использовать бесплатно? Какая у него лицензия?

distributed-llama распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

distributed-llama всё ещё поддерживается?

Активно поддерживается. Последний коммит в distributed-llama — 14 окт. 2026 г..

Для чего можно использовать distributed-llama?

Запуск модели Llama класса 70B на нескольких домашних компьютерах или мини-ПК. Эксперименты с инференсом LLM на кластерах Raspberry Pi. Развёртывание локального API в стиле OpenAI на небольшой группе компьютеров в LAN.

Как установить distributed-llama?

Установите Python 3 и компилятор C++, затем клонируйте репозиторий Настройте корневой узел одной командой (она загрузит модель и токенизатор): python launch.py llama3_2_1b_instruct_q40

Где скачать distributed-llama?

Исходный код и инструкции по установке — на GitHub: https://github.com/b4rtaz/distributed-llama