Repolode
Предложить
lmstudio-ai

lmstudio-ai/mlx-engine

Движок для инференса LLM на моделях MLX для Apple silicon, используемый в качестве бэкенда LM Studio.

Открыть на GitHub
Звёзды
1,200
Форки
138
Открытые issues
97
Последний коммит
4 дня назад

Что это?

mlx-engine — это движок для LLM на базе Apple MLX, который LM Studio использует для загрузки и запуска моделей на Mac. Он объединяет mlx-lm для генерации текста, Outlines для структурированного вывода и mlx-vlm для моделей с поддержкой зрения, позволяя пользователям LM Studio запускать локально модели в формате MLX на Apple silicon.

В репозитории есть автономный демонстрационный скрипт demo.py: он загружает текстовую или визуальную MLX-модель и генерирует ответ на запрос. При необходимости можно передать изображения и черновую модель для спекулятивного декодирования. Модели скачиваются с помощью CLI lms из LM Studio. Среди поддерживаемых моделей с поддержкой зрения — Llama-3.2-Vision, Pixtral, Qwen2-VL и Llava-v1.6.

Для работы проекта требуются macOS 14 или новее и Python 3.11. Проект распространяется по лицензии MIT.

Ключевые возможности

  • 01Запускает текстовые LLM в формате MLX на Mac с Apple silicon.
  • 02Поддерживает модели с поддержкой зрения, такие как Pixtral, Qwen2-VL и Llama-3.2-Vision.
  • 03Поддерживает спекулятивное декодирование с отдельной черновой моделью.
  • 04Поддерживает структурированный вывод с помощью Outlines.
  • 05Входит в состав LM Studio 0.3.4 и новее для Mac в качестве встроенного движка.

Сценарии использования

  • Локальный запуск LLM на Mac с сохранением конфиденциальности через LM Studio.
  • Тестирование текстовых или визуальных MLX-моделей с помощью автономного демонстрационного скрипта.
  • Создание локального приложения на Python поверх инференса MLX-моделей.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/lmstudio-ai/mlx-engine.git
  2. 2

    Перейдите в каталог проекта

    cd mlx-engine
  3. 3

    Установите необходимые пакеты-зависимости

    pip install -U -r requirements.txt
  4. 4

    Скачайте модель с помощью lms CLI и запустите демо

    lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

Что важно знать

  • Требуется macOS 14.0 или новее на устройстве с Apple silicon.
  • Для автономного демо требуется именно python3.11.
  • Загрузка каждой модели занимает несколько гигабайт.

В подборках

Open source приложения для Mac

Темы

#mlx#llm#apple-silicon#inference#vision-model#lm-studio#python

Частые вопросы

Что такое mlx-engine?
Движок для инференса LLM на моделях MLX для Apple silicon, используемый в качестве бэкенда LM Studio. mlx-engine — это движок для LLM на базе Apple MLX, который LM Studio использует для загрузки и запуска моделей на Mac. Он объединяет mlx-lm для генерации текста, Outlines для структурированного вывода и mlx-vlm для моделей с поддержкой зрения, позволяя пользователям LM Studio запускать локально модели в формате MLX на Apple silicon.
mlx-engine можно использовать бесплатно? Какая у него лицензия?
mlx-engine распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
mlx-engine всё ещё поддерживается?
Активно поддерживается. Последний коммит в mlx-engine — 3 нояб. 2026 г..
Для чего можно использовать mlx-engine?
Локальный запуск LLM на Mac с сохранением конфиденциальности через LM Studio. Тестирование текстовых или визуальных MLX-моделей с помощью автономного демонстрационного скрипта. Создание локального приложения на Python поверх инференса MLX-моделей.
Как установить mlx-engine?
Клонируйте репозиторий: git clone https://github.com/lmstudio-ai/mlx-engine.git Перейдите в каталог проекта: cd mlx-engine Установите необходимые пакеты-зависимости: pip install -U -r requirements.txt Скачайте модель с помощью lms CLI и запустите демо: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
Где скачать mlx-engine?
Исходный код и инструкции по установке — на GitHub: https://github.com/lmstudio-ai/mlx-engine

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты