Repolode
Enviar
lmstudio-ai

lmstudio-ai/mlx-engine

Engine de inferência de LLM que executa modelos MLX em Apple silicon e serve como backend do LM Studio.

Ver no GitHub
Estrelas
1,200
Forks
138
Issues abertas
97
Último commit
há 4 dias

O que é?

mlx-engine é o engine de LLM baseado no Apple MLX que o LM Studio usa para carregar e executar modelos no Mac. Ele integra mlx-lm para geração de texto, Outlines para saída estruturada e mlx-vlm para modelos de visão, permitindo que usuários do LM Studio executem modelos no formato MLX localmente em Apple silicon.

O repositório inclui um script de demonstração independente, demo.py, que carrega um modelo de texto ou de visão MLX e gera uma resposta a partir de um prompt, com suporte opcional a imagens e a um modelo draft para speculative decoding. Os modelos são baixados com a CLI lms do LM Studio. Entre os modelos de visão compatíveis estão Llama-3.2-Vision, Pixtral, Qwen2-VL e Llava-v1.6.

O projeto requer macOS 14 ou posterior e Python 3.11, e é distribuído sob a licença MIT.

Recursos principais

  • 01Executa LLMs de texto no formato MLX em Macs com Apple silicon.
  • 02Oferece suporte a modelos de visão como Pixtral, Qwen2-VL e Llama-3.2-Vision.
  • 03Oferece speculative decoding com um modelo draft separado.
  • 04Inclui suporte a saída estruturada por meio do Outlines.
  • 05É fornecido como engine integrado ao LM Studio 0.3.4 e versões mais recentes para Mac.

Casos de uso

  • Executar LLMs localmente e com privacidade em um Mac usando o LM Studio.
  • Testar modelos de texto ou de visão MLX com o script de demonstração independente.
  • Desenvolver uma aplicação Python local usando a inferência de modelos MLX.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/lmstudio-ai/mlx-engine.git
  2. 2

    Acesse o diretório do projeto

    cd mlx-engine
  3. 3

    Instale os pacotes de dependências necessários

    pip install -U -r requirements.txt
  4. 4

    Baixe um modelo com a CLI lms e execute a demonstração

    lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

Antes de usar

  • Requer macOS 14.0 ou posterior em um dispositivo com Apple silicon.
  • A demonstração independente requer especificamente o python3.11.
  • Os downloads dos modelos são grandes: vários gigabytes cada.

Em coleções

Apps open source para Mac

Tópicos

#mlx#llm#apple-silicon#inference#vision-model#lm-studio#python

Perguntas frequentes

O que é mlx-engine?
Engine de inferência de LLM que executa modelos MLX em Apple silicon e serve como backend do LM Studio. mlx-engine é o engine de LLM baseado no Apple MLX que o LM Studio usa para carregar e executar modelos no Mac. Ele integra mlx-lm para geração de texto, Outlines para saída estruturada e mlx-vlm para modelos de visão, permitindo que usuários do LM Studio executem modelos no formato MLX localmente em Apple silicon.
mlx-engine é gratuito? Qual é a licença?
mlx-engine é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
mlx-engine ainda é mantido?
Manutenção ativa. O último commit de mlx-engine foi em 3 de nov. de 2026.
Para que posso usar mlx-engine?
Executar LLMs localmente e com privacidade em um Mac usando o LM Studio. Testar modelos de texto ou de visão MLX com o script de demonstração independente. Desenvolver uma aplicação Python local usando a inferência de modelos MLX.
Como instalar mlx-engine?
Clone o repositório: git clone https://github.com/lmstudio-ai/mlx-engine.git Acesse o diretório do projeto: cd mlx-engine Instale os pacotes de dependências necessários: pip install -U -r requirements.txt Baixe um modelo com a CLI lms e execute a demonstração: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
Onde consigo mlx-engine?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/lmstudio-ai/mlx-engine

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados