Repolode
Enviar
lmstudio-ai

lmstudio-ai/mlx-engine

Motor de inferencia de LLM que ejecuta modelos MLX en Apple silicon y funciona como backend de LM Studio.

Ver en GitHub
Estrellas
1,200
Forks
138
Issues abiertos
97
Último commit
hace 4 días

¿Qué es?

mlx-engine es el motor de LLM basado en Apple MLX que LM Studio usa para cargar y ejecutar modelos en Mac. Integra mlx-lm para generar texto, Outlines para generar salidas estructuradas y mlx-vlm para modelos de visión, lo que permite a los usuarios de LM Studio ejecutar modelos en formato MLX localmente en Apple silicon.

El repositorio incluye un script de demostración independiente, demo.py, que carga un modelo MLX de texto o de visión y genera una respuesta a partir de un prompt. También permite usar imágenes y un modelo borrador para la decodificación especulativa. Los modelos se descargan con la CLI lms de LM Studio. Entre los modelos de visión compatibles están Llama-3.2-Vision, Pixtral, Qwen2-VL y Llava-v1.6.

El proyecto requiere macOS 14 o posterior y Python 3.11, y se distribuye bajo la licencia MIT.

Funciones clave

  • 01Ejecuta LLM de texto en formato MLX en Mac con Apple silicon.
  • 02Es compatible con modelos de visión como Pixtral, Qwen2-VL y Llama-3.2-Vision.
  • 03Ofrece decodificación especulativa con un modelo borrador independiente.
  • 04Incluye compatibilidad con salidas estructuradas mediante Outlines.
  • 05Se incluye como motor integrado en LM Studio 0.3.4 y versiones posteriores para Mac.

Casos de uso

  • Ejecutar LLM locales de forma privada en un Mac mediante LM Studio.
  • Probar modelos MLX de texto o de visión con el script de demostración independiente.
  • Crear una aplicación local en Python basada en la inferencia de modelos MLX.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/lmstudio-ai/mlx-engine.git
  2. 2

    Accede al directorio del proyecto

    cd mlx-engine
  3. 3

    Instala los paquetes de dependencias necesarios

    pip install -U -r requirements.txt
  4. 4

    Descarga un modelo con la CLI de lms y ejecuta la demo

    lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

Antes de usarlo

  • Requiere macOS 14.0 o posterior en un equipo con Apple silicon.
  • La demo independiente requiere específicamente python3.11.
  • Las descargas de modelos son grandes: varios gigabytes cada una.

En colecciones

Apps open source para Mac

Temas

#mlx#llm#apple-silicon#inference#vision-model#lm-studio#python

Preguntas frecuentes

¿Qué es mlx-engine?
Motor de inferencia de LLM que ejecuta modelos MLX en Apple silicon y funciona como backend de LM Studio. mlx-engine es el motor de LLM basado en Apple MLX que LM Studio usa para cargar y ejecutar modelos en Mac. Integra mlx-lm para generar texto, Outlines para generar salidas estructuradas y mlx-vlm para modelos de visión, lo que permite a los usuarios de LM Studio ejecutar modelos en formato MLX localmente en Apple silicon.
¿mlx-engine es gratuito? ¿Qué licencia tiene?
mlx-engine es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿mlx-engine sigue mantenido?
Mantenimiento activo. El último commit de mlx-engine fue el 3 nov 2026.
¿Para qué puedo usar mlx-engine?
Ejecutar LLM locales de forma privada en un Mac mediante LM Studio. Probar modelos MLX de texto o de visión con el script de demostración independiente. Crear una aplicación local en Python basada en la inferencia de modelos MLX.
¿Cómo se instala mlx-engine?
Clona el repositorio: git clone https://github.com/lmstudio-ai/mlx-engine.git Accede al directorio del proyecto: cd mlx-engine Instala los paquetes de dependencias necesarios: pip install -U -r requirements.txt Descarga un modelo con la CLI de lms y ejecuta la demo: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
¿Dónde consigo mlx-engine?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/lmstudio-ai/mlx-engine

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados