magnitudedev/magnitude

Что это?

Ключевые возможности

• 01Подбирает kernels для каждой модели на локальном чипе, чтобы найти более быстрые настройки выполнения.
• 02Работает на Apple Silicon, GPU NVIDIA и AMD, а также только на CPU.
• 03Для каждой модели включает встроенный drafter для speculative decoding.
• 04Использует квантованный KV-кэш, чтобы сократить расход памяти на сессию агента.
• 05Совместно использует prefix-кэши между параллельными сессиями.
• 06Предоставляет OpenAI-совместимый API и подключение агентов одним нажатием.

Сценарии использования

• Локальный запуск LLM с открытыми весами на Mac или рабочей станции с NVIDIA для coding-агентов.
• Размещение локальной модели на сервере с Linux или macOS, доступной с нескольких машин.
• Защита конфиденциальности промптов и файлов за счёт отказа от облачных inference API.

Быстрый старт

1. 1

   Скачайте Magnitude со страницы релизов и установите его

2. 2

   Откройте приложение, выберите рекомендуемую модель в Discover и скачайте её

3. 3

   Подключите своего агента в Connections и начните им пользоваться

Что важно знать

• !При скачивании модели выполняется настройка ядра, которая может занять до минуты.
• !Инструкции по настройке сервера есть только для Linux и macOS.

Темы

Частые вопросы

Что такое magnitude?

Open source inference engine, который подстраивает kernels под ваше оборудование и ускоряет работу open models на Apple Silicon, NVIDIA, AMD или CPU. Magnitude — inference engine для локального запуска моделей с открытыми весами. После загрузки модели движок проверяет разные способы распределения вычислений на конкретном чипе — например, сколько потоков GPU работают вместе и насколько заранее загружаются данные, — и выбирает самую быструю конфигурацию, которая не меняет результат модели. По заявлению проекта, на популярных локальных моделях для Mac и оборудования NVIDIA он в среднем примерно в 2 раза быстрее Ollama.

magnitude можно использовать бесплатно? Какая у него лицензия?

magnitude распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

magnitude всё ещё поддерживается?

Активно поддерживается. Последний коммит в magnitude — 19 окт. 2026 г..

Для чего можно использовать magnitude?

Локальный запуск LLM с открытыми весами на Mac или рабочей станции с NVIDIA для coding-агентов. Размещение локальной модели на сервере с Linux или macOS, доступной с нескольких машин. Защита конфиденциальности промптов и файлов за счёт отказа от облачных inference API.

Как установить magnitude?

Скачайте Magnitude со страницы релизов и установите его Откройте приложение, выберите рекомендуемую модель в Discover и скачайте её Подключите своего агента в Connections и начните им пользоваться

Где скачать magnitude?

Исходный код и инструкции по установке — на GitHub: https://github.com/magnitudedev/magnitude