Repolode
Enviar
jundot

jundot/omlx

Servidor de inferencia de LLM para Mac con Apple Silicon, con batching continuo, caché KV en RAM y SSD, y gestión desde la barra de menús.

Alternativa open source a:LM StudioOllama

Ver en GitHubSitio web
Estrellas
23,420
Forks
2,102
Issues abiertos
577
Último commit
anteayer

¿Qué es?

oMLX es un servidor de inferencia de LLM creado para Mac con Apple Silicon, basado en MLX y mlx-lm. Ofrece API compatibles con OpenAI y Anthropic en una dirección local, para que los clientes y las herramientas de programación existentes puedan conectarse a los modelos que se ejecutan en el equipo. Desde un único servidor, ejecuta LLM de texto, modelos de visión y lenguaje, modelos OCR, modelos de embeddings y rerankers.

El servidor mantiene la caché KV en dos niveles: los bloques de uso frecuente permanecen en RAM y los más antiguos se guardan en SSD, desde donde se restauran cuando vuelve a aparecer un prefijo coincidente, incluso después de reiniciar. También procesa solicitudes simultáneas con batching continuo y gestiona varios modelos cargados mediante expulsión LRU, fijación de modelos, TTL por modelo y un límite de memoria total.

Una app nativa de SwiftUI en la barra de menús permite iniciar, detener y supervisar el servidor. Además, un panel de administración web en /admin permite descargar modelos de Hugging Face, chatear, ejecutar benchmarks y configurar cada modelo. Se puede instalar mediante un DMG de macOS, Homebrew o desde el código fuente.

Funciones clave

  • 01Ofrece endpoints compatibles con OpenAI y Anthropic para chat, completion, embeddings y reranking.
  • 02Caché KV por niveles, con un nivel rápido en RAM y otro en SSD que se conserva al reiniciar.
  • 03Batching continuo para procesar solicitudes simultáneas mediante BatchGenerator de mlx-lm.
  • 04Ejecución de varios modelos con expulsión LRU, fijación de modelos, TTL por modelo y límites de memoria.
  • 05App nativa en la barra de menús y panel de administración web para supervisión, descargas y configuración.
  • 06Detección automática del formato de llamadas a herramientas para muchas familias de modelos, con compatibilidad con MCP.

Casos de uso

  • Ejecutar asistentes de programación locales, como Claude Code, con modelos en un Mac.
  • Ofrecer un endpoint local compatible con OpenAI para aplicaciones que esperan una API en la nube.
  • Mantener cargados los modelos de uso frecuente y cambiar a modelos más pesados cuando se necesiten.
  • Ejecutar modelos de embeddings, reranking u OCR junto con modelos de chat en un mismo Mac.

Inicio rápido

  1. 1

    Añade el tap de Homebrew

    brew tap jundot/omlx https://github.com/jundot/omlx
  2. 2

    Instala oMLX con Homebrew

    brew install jundot/omlx/omlx
  3. 3

    Inicia un servidor en primer plano con el directorio de tus modelos

    omlx serve --model-dir ~/models

Antes de usarlo

  • Solo para Mac con Apple Silicon; requiere macOS 15.0 o posterior.
  • Algunas familias de modelos necesitan kernels personalizados nativos. Para compilar desde el código fuente, se requiere Xcode completo con la cadena de herramientas de Metal.

En colecciones

Ejecuta LLM en localApps open source para Mac

Temas

#apple-silicon#llm-inference#mlx#openai-api#kv-cache#local-llm#macos#inference-server#llm

Preguntas frecuentes

¿Qué es omlx?
Servidor de inferencia de LLM para Mac con Apple Silicon, con batching continuo, caché KV en RAM y SSD, y gestión desde la barra de menús. oMLX es un servidor de inferencia de LLM creado para Mac con Apple Silicon, basado en MLX y mlx-lm. Ofrece API compatibles con OpenAI y Anthropic en una dirección local, para que los clientes y las herramientas de programación existentes puedan conectarse a los modelos que se ejecutan en el equipo. Desde un único servidor, ejecuta LLM de texto, modelos de visión y lenguaje, modelos OCR, modelos de embeddings y rerankers.
¿omlx es gratuito? ¿Qué licencia tiene?
omlx es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿omlx sigue mantenido?
Mantenimiento activo. El último commit de omlx fue el 5 nov 2026.
¿Para qué puedo usar omlx?
Ejecutar asistentes de programación locales, como Claude Code, con modelos en un Mac. Ofrecer un endpoint local compatible con OpenAI para aplicaciones que esperan una API en la nube. Mantener cargados los modelos de uso frecuente y cambiar a modelos más pesados cuando se necesiten. Ejecutar modelos de embeddings, reranking u OCR junto con modelos de chat en un mismo Mac.
¿Cómo se instala omlx?
Añade el tap de Homebrew: brew tap jundot/omlx https://github.com/jundot/omlx Instala oMLX con Homebrew: brew install jundot/omlx/omlx Inicia un servidor en primer plano con el directorio de tus modelos: omlx serve --model-dir ~/models
¿Dónde consigo omlx?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/jundot/omlx

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados