ddalcu/mlx-serve

Что это?

Ключевые возможности

• 01Предоставляет API OpenAI, Anthropic и Ollama на одном локальном порту, поддерживая потоковую передачу данных и вызовы инструментов.
• 02Нативно запускает модели для чата, генерации изображений, видео, музыки, речи и 3D-контента на Apple Silicon через MLX.
• 03Включает приложение для macOS со встроенной веб-консолью и автоматическим подбором моделей с учётом объёма памяти.
• 04Предоставляет CLI для загрузки, запуска и обслуживания моделей с возможностью возобновлять загрузку.
• 05Поддерживает семейства моделей Gemma, Qwen, GLM и DeepSeek, а также любые модели MLX или GGUF с поддерживаемой архитектурой.
• 06Поддерживает интеграцию с Claude Code и другими coding agents для работы с локальной моделью.

Сценарии использования

• Запуск приватного офлайн-ассистента для чата на Mac без отправки данных в облачный API.
• Подключение существующего кода с OpenAI SDK или Anthropic SDK к локальной модели во время разработки.
• Использование Claude Code и других coding agents с моделью, запущенной локально.
• Генерация изображений, речи и музыки на Mac или iPhone без облачного сервиса.

Быстрый старт

1. 1

   Добавьте репозиторий Homebrew

   brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
2. 2

   Доверьтесь tap

   brew trust ddalcu/mlx-serve
3. 3

   Установите сервер командной строки

   brew install mlx-serve
4. 4

   Скачайте Gemma 4 и общайтесь с ней в терминале

   mlx-serve run gemma4

Что важно знать

• !Работает только на Mac с Apple Silicon; для приложения Mac требуется macOS 26.2 или новее.
• !Для больших моделей, например на 128 GB и 256 GB, требуется много памяти, а веса загружаются потоком с SSD.

В подборках

Темы

Частые вопросы

Что такое mlx-serve?

Локальный LLM- и медиасервер для Mac с Apple Silicon: совместимые с OpenAI, Anthropic и Ollama API, Python не требуется. MLX-Serve запускает открытые модели на Mac через одно нативное приложение macOS и один локальный сервер. Сервер предоставляет эндпоинты OpenAI для чата, completions и Responses, Anthropic Messages и API Ollama на одном порту — localhost:11234. Поэтому существующие клиенты и coding agents, например Claude Code, можно подключить без изменений. Ядро написано на Zig и работает на фреймворке Apple MLX; Python не нужен ни во время работы, ни при сборке.

mlx-serve можно использовать бесплатно? Какая у него лицензия?

mlx-serve распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

mlx-serve всё ещё поддерживается?

Активно поддерживается. Последний коммит в mlx-serve — 7 нояб. 2026 г..

Для чего можно использовать mlx-serve?

Запуск приватного офлайн-ассистента для чата на Mac без отправки данных в облачный API. Подключение существующего кода с OpenAI SDK или Anthropic SDK к локальной модели во время разработки. Использование Claude Code и других coding agents с моделью, запущенной локально. Генерация изображений, речи и музыки на Mac или iPhone без облачного сервиса.

Как установить mlx-serve?

Добавьте репозиторий Homebrew: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve Доверьтесь tap: brew trust ddalcu/mlx-serve Установите сервер командной строки: brew install mlx-serve Скачайте Gemma 4 и общайтесь с ней в терминале: mlx-serve run gemma4

Где скачать mlx-serve?

Исходный код и инструкции по установке — на GitHub: https://github.com/ddalcu/mlx-serve