Repolode
Enviar
ddalcu

ddalcu/mlx-serve

Servidor local nativo de LLM y contenido multimedia para Mac con Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama, sin necesidad de Python.

Alternativa open source a:OllamaLM Studio

Ver en GitHubSitio web
Estrellas
2,390
Forks
252
Issues abiertos
76
Último commit
ayer

¿Qué es?

MLX-Serve ejecuta modelos abiertos en un Mac mediante una única app nativa de macOS y un servidor local. El servidor ofrece endpoints de OpenAI para chat, completions y Responses, Anthropic Messages y las API de Ollama en un solo puerto, en localhost:11234, para que los clientes existentes y los agentes de programación, como Claude Code, puedan conectarse sin cambios. El núcleo está escrito en Zig y se ejecuta sobre el framework MLX de Apple, sin usar Python en tiempo de ejecución ni en la compilación.

Además del chat de texto, la app y la API HTTP permiten generar imágenes, videos, música, voz y contenido 3D, e incluyen transcripción de voz a texto y clonación de voz. Los modelos se descargan mediante una CLI con comandos como run, pull y serve, y la app recomienda un modelo adecuado para la memoria del Mac. En equipos con 128 GB, los modelos de mezcla de expertos de mayor tamaño pueden transmitirse desde el SSD; además, dos Mac conectados mediante Thunderbolt 5 pueden ejecutar un mismo modelo en conjunto.

El proyecto también incluye una app para iPhone que permite chatear y generar contenido multimedia en el dispositivo, así como compilaciones para Linux con GPU NVIDIA. Tiene licencia MIT y se compila desde el código fuente con Xcode y Homebrew.

Funciones clave

  • 01Ofrece API de OpenAI, Anthropic y Ollama en un único puerto local, con streaming y llamadas a herramientas.
  • 02Ejecuta de forma nativa modelos de chat, imágenes, video, música, voz y contenido 3D en Apple Silicon mediante MLX.
  • 03Incluye una app de macOS con una consola web integrada y recomendaciones automáticas de modelos según la memoria disponible.
  • 04Proporciona una CLI para descargar, ejecutar y servir modelos, con descargas que se pueden reanudar.
  • 05Es compatible con las familias de modelos Gemma, Qwen, GLM y DeepSeek, además de cualquier modelo MLX o GGUF con una arquitectura compatible.
  • 06Ofrece integraciones con Claude Code y otros agentes de programación, conectados al modelo local.

Casos de uso

  • Ejecutar en un Mac un asistente de chat privado y sin conexión, sin enviar datos a una API en la nube.
  • Conectar código existente que use los SDK de OpenAI o Anthropic a un modelo local durante el desarrollo.
  • Usar Claude Code u otros agentes de programación con un modelo alojado localmente.
  • Generar imágenes, voz o música en un Mac o iPhone sin recurrir a un servicio en la nube.

Inicio rápido

  1. 1

    Añade el repositorio de Homebrew

    brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
  2. 2

    Confía en el tap

    brew trust ddalcu/mlx-serve
  3. 3

    Instala el servidor de línea de comandos

    brew install mlx-serve
  4. 4

    Descarga Gemma 4 y chatea con él en la terminal

    mlx-serve run gemma4

Antes de usarlo

  • Solo funciona en Mac con Apple Silicon; la app para Mac requiere macOS 26.2 o posterior.
  • Los modelos grandes, como los de 128 GB y 256 GB, necesitan mucha memoria y transmiten los pesos desde el SSD.

En colecciones

Herramientas, skills y plugins para Claude CodeEjecuta LLM en localApps open source para Mac

Temas

#apple-silicon#local-llm#mlx#openai-api#anthropic-api#inference#macos#tool-calling#agent#claude-code

Preguntas frecuentes

¿Qué es mlx-serve?
Servidor local nativo de LLM y contenido multimedia para Mac con Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama, sin necesidad de Python. MLX-Serve ejecuta modelos abiertos en un Mac mediante una única app nativa de macOS y un servidor local. El servidor ofrece endpoints de OpenAI para chat, completions y Responses, Anthropic Messages y las API de Ollama en un solo puerto, en localhost:11234, para que los clientes existentes y los agentes de programación, como Claude Code, puedan conectarse sin cambios. El núcleo está escrito en Zig y se ejecuta sobre el framework MLX de Apple, sin usar Python en tiempo de ejecución ni en la compilación.
¿mlx-serve es gratuito? ¿Qué licencia tiene?
mlx-serve es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿mlx-serve sigue mantenido?
Mantenimiento activo. El último commit de mlx-serve fue el 6 nov 2026.
¿Para qué puedo usar mlx-serve?
Ejecutar en un Mac un asistente de chat privado y sin conexión, sin enviar datos a una API en la nube. Conectar código existente que use los SDK de OpenAI o Anthropic a un modelo local durante el desarrollo. Usar Claude Code u otros agentes de programación con un modelo alojado localmente. Generar imágenes, voz o música en un Mac o iPhone sin recurrir a un servicio en la nube.
¿Cómo se instala mlx-serve?
Añade el repositorio de Homebrew: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve Confía en el tap: brew trust ddalcu/mlx-serve Instala el servidor de línea de comandos: brew install mlx-serve Descarga Gemma 4 y chatea con él en la terminal: mlx-serve run gemma4
¿Dónde consigo mlx-serve?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ddalcu/mlx-serve

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados