Repolode
Enviar
jjang-ai

jjang-ai/vmlx

Servidor de inferencia MLX autoalojado para Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama para LLM, VLM y generación de imágenes.

Alternativa open source a:LM StudioOllama

Ver en GitHubSitio web
Estrellas
899
Forks
97
Issues abiertos
63
Último commit
ayer

¿Qué es?

vMLX es un servidor de inferencia para ejecutar localmente modelos de lenguaje grandes, modelos de visión y lenguaje y modelos de generación de imágenes en computadoras Mac con Apple Silicon. Ofrece endpoints HTTP compatibles con OpenAI, Anthropic y Ollama, de modo que los SDK y herramientas existentes, como el cliente de OpenAI para Python, el SDK de Anthropic o la CLI de Ollama, pueden conectarse a un servidor local sin necesitar claves de API de terceros. Los modelos se cargan desde repositorios de Hugging Face o rutas locales; los modelos de mlx-community suelen ser un buen punto de partida.

El servidor incluye varias capas de caché, como caché de prefijos, caché KV paginada, cuantización KV y caché opcional en disco, que reutilizan el estado de los prompts en mensajes repetidos o de seguimiento. También admite batching continuo, llamadas a herramientas y parsers de razonamiento para muchas familias de modelos, speculative decoding y paralelismo de pipeline entre varias Mac para modelos demasiado grandes para una sola máquina. La generación y edición de imágenes con Flux y Qwen Image Edit, además de embeddings, reranking, transcripción de voz a texto con Whisper y síntesis de texto a voz con Kokoro, están disponibles desde el mismo servidor.

El proyecto también incluye JANG, un formato de cuantización adaptativa de precisión mixta con herramientas de conversión, y MLX Studio, una aplicación de escritorio para macOS con chat, administración del servidor y herramientas para desarrolladores. Se puede instalar desde PyPI como `vmlx`.

Funciones clave

  • 01Ofrece endpoints de chat, completions, embeddings y reranking compatibles con OpenAI, Anthropic y Ollama.
  • 02Caché KV multicapa de prefijos, paginada y en disco, con cuantización opcional de caché q4/q8.
  • 03Batching continuo y speculative decoding o prompt lookup decoding para acelerar la generación.
  • 04Parsers de llamadas a herramientas y razonamiento (thinking) con detección automática para muchas familias de modelos.
  • 05Generación y edición de imágenes con los modelos Flux y Qwen Image Edit.
  • 06Paralelismo de pipeline distribuido entre varias Mac para modelos más grandes.

Casos de uso

  • Ejecutar de forma privada modelos de chat de pesos abiertos en una Mac, sin enviar datos a API en la nube.
  • Conectar código existente que usa los SDK de OpenAI o Anthropic a un modelo local durante el desarrollo.
  • Ofrecer un modelo local a varias herramientas a la vez mediante una sola puerta de enlace de API.
  • Generar o editar imágenes localmente en hardware Apple Silicon.

Inicio rápido

  1. 1

    Instala uv con Homebrew

    brew install uv
  2. 2

    Instala vmlx desde PyPI como herramienta

    uv tool install vmlx
  3. 3

    Inicia el servidor con un modelo de mlx-community

    vmlx serve mlx-community/Qwen3-8B-4bit

Antes de usarlo

  • Solo funciona en Mac con Apple Silicon, por lo que no funciona en Linux, Windows ni Mac con procesador Intel.
  • Requiere Python 3.10 o posterior.

En colecciones

Ejecuta LLM en localApps open source para Mac

Temas

#mlx#apple-silicon#llm#inference-server#openai-api#local-llm#kv-cache#quantization#anthropic-api#kvcache-compression

Preguntas frecuentes

¿Qué es vmlx?
Servidor de inferencia MLX autoalojado para Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama para LLM, VLM y generación de imágenes. vMLX es un servidor de inferencia para ejecutar localmente modelos de lenguaje grandes, modelos de visión y lenguaje y modelos de generación de imágenes en computadoras Mac con Apple Silicon. Ofrece endpoints HTTP compatibles con OpenAI, Anthropic y Ollama, de modo que los SDK y herramientas existentes, como el cliente de OpenAI para Python, el SDK de Anthropic o la CLI de Ollama, pueden conectarse a un servidor local sin necesitar claves de API de terceros. Los modelos se cargan desde repositorios de Hugging Face o rutas locales; los modelos de mlx-community suelen ser un buen punto de partida.
¿vmlx es gratuito? ¿Qué licencia tiene?
vmlx es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿vmlx sigue mantenido?
Mantenimiento activo. El último commit de vmlx fue el 21 oct 2026.
¿Para qué puedo usar vmlx?
Ejecutar de forma privada modelos de chat de pesos abiertos en una Mac, sin enviar datos a API en la nube. Conectar código existente que usa los SDK de OpenAI o Anthropic a un modelo local durante el desarrollo. Ofrecer un modelo local a varias herramientas a la vez mediante una sola puerta de enlace de API. Generar o editar imágenes localmente en hardware Apple Silicon.
¿Cómo se instala vmlx?
Instala uv con Homebrew: brew install uv Instala vmlx desde PyPI como herramienta: uv tool install vmlx Inicia el servidor con un modelo de mlx-community: vmlx serve mlx-community/Qwen3-8B-4bit
¿Dónde consigo vmlx?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/jjang-ai/vmlx

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados