Локальный движок инференса LLM для Mac с Apple silicon: обслуживает coding agents и OpenAI- и Anthropic-совместимые API с помощью speculative decoding и Metal kernels.
2,1 тыс.+135 за неделю208C++Apache-2.0Активно поддерживаетсяОбновлён вчера
beamivalice/sushi
Локальный сервер инференса для Apple Silicon, запускающий качественные низкобитные квантованные LLM в форматах Sushi STQ и EXL3.
- Звёзды
- 434
- Форки
- 35
- Открытые issues
- 7
- Последний коммит
- 6 часов назад
Что это?
Sushi — локальный AI-сервер для запуска низкобитных квантованных больших языковых моделей на Mac с Apple Silicon. Он использует собственный формат Sushi Trellis Quant (STQ) и гибридный конвертер EXL3-Affine, чтобы создавать сжатые пакеты моделей с сохранением высокого качества генерации. Проект представляет собой отдельный форк mlx-serve от ddalcu и может работать самостоятельно или как гостевой движок внутри mlx-serve. Требуется чип M1 или новее и macOS 26.2 или новее.
Сервер слушает адрес 127.0.0.1:12345 и поддерживает спекулятивное декодирование (MTP для Qwen и MiMo, DFlash2 для GLM); по умолчанию включён 8-битный KV-кэш. В наборах есть модели Qwen3.8 Flash-Next, MiMo-V2.6 Flash, GLM-5.3 Flash и DeepSeek-V4.1 Flash; для них указаны требования к памяти от 48 до 128 ГБ. В режиме потоковой загрузки в памяти остаётся только часть весов, а маршрутизируемые эксперты читаются с SSD, поэтому модели могут работать на Mac, где оперативной памяти меньше, чем занимают их веса.
К серверу можно открыть доступ из локальной сети, защитив его API-ключом. В проекте также приводятся показатели KLD и совпадения top-1 для нескольких наборов моделей, а также результаты замеров скорости и оценки работы с инструментами для агентных сценариев на оборудовании M5 Max.
Ключевые возможности
- 01Запускает низкобитные квантованные LLM в собственных форматах STQ и EXL3-Affine на Apple Silicon.
- 02Поддерживает спекулятивное декодирование: MTP для Qwen и MiMo, DFlash2 для GLM.
- 03Загружает маршрутизируемых экспертов с SSD потоком, чтобы модели могли работать на Mac с меньшим объёмом памяти, чем занимают их веса.
- 04По умолчанию использует 8-битный KV-кэш и слушает локальный порт.
- 05Позволяет предоставлять доступ к серверу другим компьютерам в сети с помощью Bearer API key.
Сценарии использования
- Локальный запуск крупных квантованных моделей для программирования или чата на Mac с 48–128 ГБ памяти.
- Предоставление другим устройствам в домашней или офисной сети локальной конечной точки в стиле OpenAI.
- Сравнение качества квантования и скорости наборов моделей Qwen, GLM, MiMo и DeepSeek.
Быстрый старт
- 1
Установите Sushi с помощью Homebrew
brew install beamivalice/tap/sushi - 2
Запустите сервер с пакетом моделей (замените <pack> на название пакета из README)
sushi serve <pack>
Что важно знать
- Требуется Apple Silicon M1 или новее и macOS 26.2 или новее.
- Для большинства пакетов моделей требуется от 48 до 128 ГБ памяти, а для запуска некоторых на Mac с меньшим объёмом памяти необходима настройка потоковой загрузки с SSD.
- В README указано, что sushi распространяется по лицензии MIT, однако для пакетов моделей Qwen и MiMo действуют отдельные лицензии, а обнаруженная лицензия репозитория неясна.
В подборках
Темы
Частые вопросы
- Что такое sushi?
- Локальный сервер инференса для Apple Silicon, запускающий качественные низкобитные квантованные LLM в форматах Sushi STQ и EXL3. Sushi — локальный AI-сервер для запуска низкобитных квантованных больших языковых моделей на Mac с Apple Silicon. Он использует собственный формат Sushi Trellis Quant (STQ) и гибридный конвертер EXL3-Affine, чтобы создавать сжатые пакеты моделей с сохранением высокого качества генерации. Проект представляет собой отдельный форк mlx-serve от ddalcu и может работать самостоятельно или как гостевой движок внутри mlx-serve. Требуется чип M1 или новее и macOS 26.2 или новее.
- sushi можно использовать бесплатно? Какая у него лицензия?
- sushi распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- sushi всё ещё поддерживается?
- Активно поддерживается. Последний коммит в sushi — 7 нояб. 2026 г..
- Для чего можно использовать sushi?
- Локальный запуск крупных квантованных моделей для программирования или чата на Mac с 48–128 ГБ памяти. Предоставление другим устройствам в домашней или офисной сети локальной конечной точки в стиле OpenAI. Сравнение качества квантования и скорости наборов моделей Qwen, GLM, MiMo и DeepSeek.
- Как установить sushi?
- Установите Sushi с помощью Homebrew: brew install beamivalice/tap/sushi Запустите сервер с пакетом моделей (замените <pack> на название пакета из README): sushi serve <pack>
- Где скачать sushi?
- Исходный код и инструкции по установке — на GitHub: https://github.com/beamivalice/sushi
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Подключает iPhone к Mac по USB-C, чтобы GPU телефона помогал локально запускать модель Qwen 27B, ускоряя обработку промптов и увеличивая контекст.
1,2 тыс.+26 за неделю114PythonMITОбновлён 22 часа назад
Форк llama.cpp, оптимизированный для видеокарт NVIDIA RTX 30-й серии на архитектуре Ampere, прежде всего RTX 3090, для локального запуска моделей Qwen3.8.
27234C++MITАктивно поддерживаетсяОбновлён 5 часов назад
Сервер инференса LLM для Mac с Apple Silicon: continuous batching, многоуровневый KV-кэш в RAM и на SSD и управление из меню-барa.
23,4 тыс.+152 за неделю2,1 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 3 дня назад
Локальный движок инференса LLM на Zig: запускает модели на Apple Silicon Metal и NVIDIA CUDA без Python и MLX.
1,7 тыс.+124 за неделю362ZigApache-2.0Активно поддерживаетсяОбновлён 4 часа назад
Движок инференса LLM для моделей, совместимых с Hugging Face: построен на vLLM, поддерживает OpenAI-совместимый API и распределённое развертывание.
ИИ и машинное обучение#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 тыс.+1 за неделю213PythonAGPL-3.0Активно поддерживаетсяОбновлён 6 часов назад