Repolode
Предложить
jundot

jundot/omlx

Сервер инференса LLM для Mac с Apple Silicon: continuous batching, многоуровневый KV-кэш в RAM и на SSD и управление из меню-барa.

Open source альтернатива:LM StudioOllama

Открыть на GitHubСайт
Звёзды
23,420
Форки
2,102
Открытые issues
577
Последний коммит
позавчера

Что это?

oMLX — сервер инференса LLM для Mac с Apple Silicon, построенный на MLX и mlx-lm. Он предоставляет API, совместимые с OpenAI и Anthropic, по локальному адресу, поэтому существующие клиенты и инструменты для программирования могут подключаться к моделям, запущенным на компьютере. Сервер поддерживает текстовые LLM, мультимодальные модели для работы с изображениями и текстом, OCR-модели, эмбеддинги и реранкеры.

Сервер хранит KV-кэш на двух уровнях: часто используемые блоки остаются в RAM, а более старые записываются на SSD и восстанавливаются при повторном появлении совпадающего префикса — даже после перезапуска. Параллельные запросы обрабатываются с помощью continuous batching. Несколькими загруженными моделями можно управлять с помощью вытеснения по LRU, закрепления, TTL для каждой модели и общего лимита памяти.

Нативное приложение для меню-бара на SwiftUI запускает, останавливает и отслеживает работу сервера. Веб-панель администратора по адресу /admin позволяет загружать модели с Hugging Face, общаться с ними, запускать бенчмарки и настраивать параметры каждой модели. Установить приложение можно через DMG для macOS, Homebrew или из исходного кода.

Ключевые возможности

  • 01Предоставляет совместимые с OpenAI и Anthropic эндпоинты для чата, генерации текста, эмбеддингов и реранкинга.
  • 02Многоуровневый KV-кэш: горячий уровень в RAM и холодный на SSD, сохраняющийся после перезапуска.
  • 03Continuous batching параллельных запросов с помощью BatchGenerator из mlx-lm.
  • 04Обслуживание нескольких моделей с вытеснением по LRU, закреплением, TTL для каждой модели и лимитами памяти.
  • 05Нативное приложение для меню-бара и веб-панель администратора для мониторинга, загрузки моделей и настроек.
  • 06Автоматическое определение формата вызова инструментов для многих семейств моделей и поддержка MCP.

Сценарии использования

  • Запуск локальных помощников для программирования, например Claude Code, с моделями на Mac.
  • Предоставление локального эндпоинта, совместимого с OpenAI, для приложений, рассчитанных на облачный API.
  • Поддержание часто используемых моделей в загруженном состоянии с подгрузкой более тяжёлых моделей по запросу.
  • Запуск моделей для эмбеддингов, реранкинга и OCR вместе с чат-моделями на одном Mac.

Быстрый старт

  1. 1

    Добавьте tap Homebrew

    brew tap jundot/omlx https://github.com/jundot/omlx
  2. 2

    Установите oMLX с помощью Homebrew

    brew install jundot/omlx/omlx
  3. 3

    Запустите сервер в foreground, указав каталог с моделями

    omlx serve --model-dir ~/models

Что важно знать

  • Только для Mac с Apple Silicon; требуется macOS 15.0 или новее.
  • Для некоторых семейств моделей нужны собственные нативные kernels. Для сборки из исходного кода требуется полный Xcode с toolchain Metal.

В подборках

Запуск LLM локальноOpen source приложения для Mac

Темы

#apple-silicon#llm-inference#mlx#openai-api#kv-cache#local-llm#macos#inference-server#llm

Частые вопросы

Что такое omlx?
Сервер инференса LLM для Mac с Apple Silicon: continuous batching, многоуровневый KV-кэш в RAM и на SSD и управление из меню-барa. oMLX — сервер инференса LLM для Mac с Apple Silicon, построенный на MLX и mlx-lm. Он предоставляет API, совместимые с OpenAI и Anthropic, по локальному адресу, поэтому существующие клиенты и инструменты для программирования могут подключаться к моделям, запущенным на компьютере. Сервер поддерживает текстовые LLM, мультимодальные модели для работы с изображениями и текстом, OCR-модели, эмбеддинги и реранкеры.
omlx можно использовать бесплатно? Какая у него лицензия?
omlx распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
omlx всё ещё поддерживается?
Активно поддерживается. Последний коммит в omlx — 5 нояб. 2026 г..
Для чего можно использовать omlx?
Запуск локальных помощников для программирования, например Claude Code, с моделями на Mac. Предоставление локального эндпоинта, совместимого с OpenAI, для приложений, рассчитанных на облачный API. Поддержание часто используемых моделей в загруженном состоянии с подгрузкой более тяжёлых моделей по запросу. Запуск моделей для эмбеддингов, реранкинга и OCR вместе с чат-моделями на одном Mac.
Как установить omlx?
Добавьте tap Homebrew: brew tap jundot/omlx https://github.com/jundot/omlx Установите oMLX с помощью Homebrew: brew install jundot/omlx/omlx Запустите сервер в foreground, указав каталог с моделями: omlx serve --model-dir ~/models
Где скачать omlx?
Исходный код и инструкции по установке — на GitHub: https://github.com/jundot/omlx

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты