carloslfu/slotstream

Что это?

Ключевые возможности

• 01Подгружает веса модели со смесью экспертов с SSD в кэш экспертов ограниченного размера в оперативной памяти.
• 02Автоматически подбирает размер кэша, контекстного окна и параметры спекулятивного декодирования для Mac.
• 03Предоставляет локальным приложениям API, совместимые с Ollama, OpenAI и Anthropic.
• 04Одной командой запускает Claude Code, Codex, Pi, opencode и Hermes с локальной моделью.
• 05Предоставляет библиотеку Swift для встраивания движка в нативные приложения.
• 06Работает полностью офлайн после загрузки модели.

Сценарии использования

• Запуск большой модели с открытыми весами на Mac с 16–64 ГБ памяти, которой не хватает, чтобы целиком хранить модель в RAM.
• Работа с Claude Code или Codex на локальной модели, чтобы код оставался на вашем компьютере.
• Подключение локального интерфейса для чата, например Open WebUI, к офлайн-серверу модели.
• Встраивание локальной LLM в нативное приложение для macOS на Swift.

Быстрый старт

1. 1

   Запустите официальный скрипт установки из README

2. 2

   Проверьте объем памяти и свободное место на диске Mac

   slotstream doctor
3. 3

   Попросите модель дать первый ответ (при первом запуске модель будет загружена)

   slotstream run --prompt "Why is the sky blue?"

Что важно знать

• !Работает только на Mac с Apple Silicon и macOS 14 или новее; Windows, Linux и Mac с процессорами Intel не поддерживаются.
• !Для модели по умолчанию требуется не менее 16 ГБ памяти и около 110 ГБ свободного места на SSD.
• !При первом запуске загружается модель размером около 105 ГБ, что может занять несколько часов.
• !Slotstream поддерживает только одну модель — Qwen3.8-Flash-Next 4-bit.

В подборках

Темы

Частые вопросы

Что такое slotstream?

Нативный движок на Swift запускает 4-битную модель Qwen3.8-Flash-Next размером 105 ГБ на Mac с Apple Silicon и 16–64 ГБ памяти, подгружая экспертов с SSD. Slotstream — движок для локального инференса на Mac с Apple Silicon, написанный на Swift с использованием MLX и Metal от Apple. Он запускает модель со смесью экспертов, веса которой значительно превышают объём оперативной памяти: общие веса остаются в памяти, а нужные для каждого токена эксперты считываются с SSD в кэш ограниченного размера; часто используемые эксперты хранятся в RAM. После загрузки модели инференс выполняется целиком на Mac — без среды выполнения Python и облачной учётной записи.

slotstream можно использовать бесплатно? Какая у него лицензия?

slotstream распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

slotstream всё ещё поддерживается?

Активно поддерживается. Последний коммит в slotstream — 4 нояб. 2026 г..

Для чего можно использовать slotstream?

Запуск большой модели с открытыми весами на Mac с 16–64 ГБ памяти, которой не хватает, чтобы целиком хранить модель в RAM. Работа с Claude Code или Codex на локальной модели, чтобы код оставался на вашем компьютере. Подключение локального интерфейса для чата, например Open WebUI, к офлайн-серверу модели. Встраивание локальной LLM в нативное приложение для macOS на Swift.

Как установить slotstream?

Запустите официальный скрипт установки из README Проверьте объем памяти и свободное место на диске Mac: slotstream doctor Попросите модель дать первый ответ (при первом запуске модель будет загружена): slotstream run --prompt "Why is the sky blue?"

Где скачать slotstream?

Исходный код и инструкции по установке — на GitHub: https://github.com/carloslfu/slotstream