jjang-ai/vmlx

Что это?

Ключевые возможности

• 01Предоставляет эндпоинты чата, дополнения, эмбеддингов и ранжирования, совместимые с OpenAI, Anthropic и Ollama.
• 02Многоуровневое кэширование префиксов, постраничного KV-кэша и дисковое кэширование с необязательным квантованием кэша до q4/q8.
• 03Непрерывный батчинг, спекулятивное декодирование и декодирование с поиском по промпту для ускорения генерации.
• 04Автоматически определяемые парсеры вызова инструментов и рассуждений (thinking) для многих семейств моделей.
• 05Генерация и редактирование изображений с помощью моделей Flux и Qwen Image Edit.
• 06Распределённый параллелизм конвейера между несколькими Mac для более крупных моделей.

Сценарии использования

• Приватный запуск чат-моделей с открытыми весами на Mac без отправки данных в облачные API.
• Подключение существующего кода с OpenAI SDK или Anthropic SDK к локальной модели во время разработки.
• Предоставление нескольким инструментам доступа к локальной модели через единый API-шлюз.
• Локальная генерация и редактирование изображений на оборудовании Apple Silicon.

Быстрый старт

1. 1

   Установите uv с помощью Homebrew

   brew install uv
2. 2

   Установите vmlx из PyPI как инструмент

   uv tool install vmlx
3. 3

   Запустите сервер с моделью от mlx-community

   vmlx serve mlx-community/Qwen3-8B-4bit

Что важно знать

• !Работает только на Mac с Apple Silicon, поэтому не поддерживает Linux, Windows и Mac с процессорами Intel.
• !Требуется Python 3.10 или новее.

Темы

Частые вопросы

Что такое vmlx?

Локальный MLX-сервер инференса для Apple Silicon с совместимыми с OpenAI, Anthropic и Ollama API для LLM, VLM и генерации изображений. vMLX — сервер инференса для локального запуска больших языковых моделей, моделей «текст — изображение» и моделей генерации изображений на компьютерах Mac с Apple Silicon. Он предоставляет HTTP-эндпоинты, совместимые с OpenAI, Anthropic и Ollama, поэтому существующие SDK и инструменты — например, клиент OpenAI для Python, Anthropic SDK или Ollama CLI — можно подключить к локальному серверу без ключей сторонних API. Модели загружаются из репозиториев Hugging Face или из локальных путей; обычно начинают с моделей mlx-community.

vmlx можно использовать бесплатно? Какая у него лицензия?

vmlx распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

vmlx всё ещё поддерживается?

Активно поддерживается. Последний коммит в vmlx — 21 окт. 2026 г..

Для чего можно использовать vmlx?

Приватный запуск чат-моделей с открытыми весами на Mac без отправки данных в облачные API. Подключение существующего кода с OpenAI SDK или Anthropic SDK к локальной модели во время разработки. Предоставление нескольким инструментам доступа к локальной модели через единый API-шлюз. Локальная генерация и редактирование изображений на оборудовании Apple Silicon.

Как установить vmlx?

Установите uv с помощью Homebrew: brew install uv Установите vmlx из PyPI как инструмент: uv tool install vmlx Запустите сервер с моделью от mlx-community: vmlx serve mlx-community/Qwen3-8B-4bit

Где скачать vmlx?

Исходный код и инструкции по установке — на GitHub: https://github.com/jjang-ai/vmlx