midagedev/bloomery

Что это?

Ключевые возможности

• 01Запускает MoE-модели, веса которых не помещаются в память GPU, распределяя экспертов между видеокартами, оперативной памятью и NVMe.
• 02Предоставляет совместимый с llama-server HTTP API с маршрутами OpenAI и Anthropic.
• 03Поддерживает файлы GGUF и флаги размещения llama, поэтому существующие клиенты работают без изменений.
• 04Хранит сохранённые состояния промптов в оперативной памяти, чтобы запросы с общим префиксом могли их повторно использовать.
• 05Поддерживает несколько параллельных слотов и спекулятивное декодирование с черновой моделью.
• 06Включает бэкенд Metal для компьютеров Mac с Apple Silicon.

Сценарии использования

• Запуск большой MoE-модели, например Qwen3-30B-A3B или GLM, на одной рабочей станции с GPU на 24 ГБ.
• Обслуживание локальных моделей на NVIDIA DGX Spark или RTX 5090 для агентных инструментов программирования.
• Замена развёртывания llama-server на сервере на Rust с тем же интерфейсом для клиентов.
• Запуск MoE-моделей на Mac с Apple Silicon и GPU Metal.

Быстрый старт

1. 1

   Запустите официальный скрипт установки из README

2. 2

   Запустите сервер с моделью с Hugging Face

   ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M
3. 3

   Отправьте серверу тестовый запрос в чат

   curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

Что важно знать

• !Требуется GPU NVIDIA с Compute Capability 8.6 или выше либо Apple Silicon с macOS 26.2 или новее.
• !Поддержка Apple Silicon ограничена отдельными архитектурами и почти не проверена; доступен один слот и только текстовый режим.
• !Для Linux x86-64 требуется драйвер NVIDIA R580 или новее, а в Windows запуск возможен только через WSL2.
• !Проект ещё молодой: 57 звёзд, версия 0.3.x.

В подборках

Темы

Частые вопросы

Что такое bloomery?

Сервер инференса LLM на Rust для MoE-моделей, не помещающихся в память GPU; совместим с API llama-server и работает на NVIDIA GPU и Apple Silicon. bloomery запускает большие языковые MoE-модели на одной машине, распределяя маршрутизируемых экспертов между памятью GPU, оперативной памятью и, при необходимости, хранилищем NVMe. Движок отслеживает, каких экспертов декодер вызывает чаще всего, и переносит их на видеокарту во время работы. Поддерживаются карты NVIDIA, включая DGX Spark (GB10), а также Apple Silicon через бэкенд Metal.

bloomery можно использовать бесплатно? Какая у него лицензия?

bloomery распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

bloomery всё ещё поддерживается?

Активно поддерживается. Последний коммит в bloomery — 6 нояб. 2026 г..

Для чего можно использовать bloomery?

Запуск большой MoE-модели, например Qwen3-30B-A3B или GLM, на одной рабочей станции с GPU на 24 ГБ. Обслуживание локальных моделей на NVIDIA DGX Spark или RTX 5090 для агентных инструментов программирования. Замена развёртывания llama-server на сервере на Rust с тем же интерфейсом для клиентов. Запуск MoE-моделей на Mac с Apple Silicon и GPU Metal.

Как установить bloomery?

Запустите официальный скрипт установки из README Запустите сервер с моделью с Hugging Face: ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M Отправьте серверу тестовый запрос в чат: curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

Где скачать bloomery?

Исходный код и инструкции по установке — на GitHub: https://github.com/midagedev/bloomery