Repolode
Предложить
incoai

incoai/splash

Локальный движок инференса LLM для Mac с Apple silicon: обслуживает coding agents и OpenAI- и Anthropic-совместимые API с помощью speculative decoding и Metal kernels.

Open source альтернатива:LM Studio

Открыть на GitHubСайт
Звёзды
1,593
Форки
153
Открытые issues
70
Последний коммит
9 часов назад

Что это?

Splash — локальный движок инференса для Mac с Apple silicon. Он запускает языковые модели на одном компьютере и предоставляет совместимые с OpenAI Chat Completions, Responses и Completions, а также Anthropic Messages эндпоинты. Поэтому существующие coding agents и приложения могут обращаться к localhost вместо облачного сервиса.

Движок сочетает speculative decoding DFlash 2 с Metal kernels, написанными для каждого поддерживаемого семейства моделей, и автоматически планирует использование памяти. Кроме того, он кэширует повторно используемые префиксы, обрабатывает параллельные запросы пакетами, поддерживает входные данные с изображениями, вызов инструментов и вывод по JSON Schema, а также включает встроенную страницу чата. Поддерживаются модели Qwen3.8-27B, Qwen3.6-35B-A3B и Qwen3.8-Flash-Next в квантованных форматах GGUF или MLX.

Splash устанавливается через Homebrew, а сервер запускается одной командой `splash serve`. Требуются чип Apple M3 или новее, macOS 26.4 или новее и не менее 36 GB объединённой памяти для примеров с 4-битной квантизацией.

Ключевые возможности

  • 01Предоставляет совместимые с OpenAI и Anthropic API с потоковой передачей данных и вызовом инструментов.
  • 02Использует speculative decoding DFlash 2 и отдельные Metal kernels для каждой модели.
  • 03Автоматически планирует использование памяти и повторно использует кэшированные префиксы между запросами.
  • 04Поддерживает входные данные с изображениями и PDF, а также структурированный вывод по JSON Schema.
  • 05Включает встроенную страницу чата и средства запуска для нескольких coding agents.

Сценарии использования

  • Запуск coding agents, например opencode или Claude, с моделью на собственном Mac.
  • Разработка приложений с OpenAI- или Anthropic-совместимым эндпоинтом без затрат на облачные API.
  • Хранение промптов и кода на локальном компьютере вместо отправки в размещённый сервис.

Быстрый старт

  1. 1

    Установите Splash с помощью Homebrew

    brew install incoai/tap/splash
  2. 2

    Запустите сервер и скачайте модель

    splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M
  3. 3

    Когда появится Ready, откройте в браузере http://127.0.0.1:8000

Что важно знать

  • Требуется Mac с Apple silicon, чипом M3 или новее и macOS 26.4 или новее.
  • Для примеров с 4-битной точностью требуется не менее 36 ГБ объединённой памяти; на Mac с меньшим объёмом памяти используйте более компактные варианты GGUF.
  • Поддерживается лишь ограниченный набор семейств моделей; модели целиком в BF16 или F16 не поддерживаются.

Темы

#llm-inference#apple-silicon#metal#local-llm#speculative-decoding#coding-agents#openai-compatible#macos

Частые вопросы

Что такое splash?
Локальный движок инференса LLM для Mac с Apple silicon: обслуживает coding agents и OpenAI- и Anthropic-совместимые API с помощью speculative decoding и Metal kernels. Splash — локальный движок инференса для Mac с Apple silicon. Он запускает языковые модели на одном компьютере и предоставляет совместимые с OpenAI Chat Completions, Responses и Completions, а также Anthropic Messages эндпоинты. Поэтому существующие coding agents и приложения могут обращаться к localhost вместо облачного сервиса.
splash можно использовать бесплатно? Какая у него лицензия?
splash распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
splash всё ещё поддерживается?
Активно поддерживается. Последний коммит в splash — 20 окт. 2026 г..
Для чего можно использовать splash?
Запуск coding agents, например opencode или Claude, с моделью на собственном Mac. Разработка приложений с OpenAI- или Anthropic-совместимым эндпоинтом без затрат на облачные API. Хранение промптов и кода на локальном компьютере вместо отправки в размещённый сервис.
Как установить splash?
Установите Splash с помощью Homebrew: brew install incoai/tap/splash Запустите сервер и скачайте модель: splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M Когда появится Ready, откройте в браузере http://127.0.0.1:8000
Где скачать splash?
Исходный код и инструкции по установке — на GitHub: https://github.com/incoai/splash

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты