Repolode
Enviar
ddalcu

ddalcu/mlx-serve

Servidor nativo local de LLMs e mídia para Macs com Apple Silicon, com APIs compatíveis com OpenAI, Anthropic e Ollama, sem exigir Python.

Alternativa open source a:OllamaLM Studio

Ver no GitHubSite
Estrelas
2,390
Forks
252
Issues abertas
76
Último commit
há 21 horas

O que é?

O MLX-Serve executa modelos abertos no Mac por meio de um único app nativo para macOS e um servidor local. O servidor disponibiliza endpoints de chat, completions e Responses da OpenAI, Messages da Anthropic e APIs do Ollama em uma única porta, em localhost:11234. Assim, clientes existentes e agentes de programação como Claude Code podem se conectar sem alterações. O núcleo é escrito em Zig e roda no framework MLX da Apple, sem Python no runtime nem no processo de build.

Além de chat com texto, o app e a API HTTP permitem gerar imagens, vídeos, música, fala e conteúdo 3D, incluindo transcrição de fala em texto e clonagem de voz. Os modelos são baixados por uma CLI com comandos como run, pull e serve, e o app sugere um modelo compatível com a memória do Mac. Em máquinas com 128 GB, modelos maiores de mistura de especialistas podem ser carregados em streaming a partir do SSD; dois Macs conectados por Thunderbolt 5 também podem executar um modelo em conjunto.

O projeto também oferece um app para iPhone com chat e geração de mídia no dispositivo, além de builds para Linux com GPUs NVIDIA. É licenciado sob MIT e pode ser compilado a partir do código-fonte com Xcode e Homebrew.

Recursos principais

  • 01Disponibiliza APIs da OpenAI, Anthropic e Ollama em uma única porta local, com streaming e chamadas de ferramentas.
  • 02Executa modelos de chat, imagem, vídeo, música, fala e 3D nativamente em Apple Silicon por meio do MLX.
  • 03Inclui um app para macOS com console web integrado e sugestões automáticas de modelos de acordo com a memória disponível.
  • 04Oferece uma CLI para baixar, executar e disponibilizar modelos, com suporte à retomada de downloads.
  • 05É compatível com as famílias de modelos Gemma, Qwen, GLM e DeepSeek, além de qualquer modelo MLX ou GGUF com arquitetura compatível.
  • 06Oferece integrações com Claude Code e outros agentes de programação, conectados ao modelo local.

Casos de uso

  • Executar no Mac um assistente de chat privado e offline, sem enviar dados para uma API na nuvem.
  • Conectar código existente que usa SDKs da OpenAI ou da Anthropic a um modelo local durante o desenvolvimento.
  • Usar Claude Code ou outros agentes de programação com um modelo hospedado localmente.
  • Gerar imagens, fala ou música no Mac ou iPhone sem recorrer a um serviço na nuvem.

Início rápido

  1. 1

    Adicione o repositório do Homebrew

    brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
  2. 2

    Confie no tap

    brew trust ddalcu/mlx-serve
  3. 3

    Instale o servidor de linha de comando

    brew install mlx-serve
  4. 4

    Baixe o Gemma 4 e converse com ele no terminal

    mlx-serve run gemma4

Antes de usar

  • Funciona apenas em Macs com Apple Silicon; o app para Mac requer macOS 26.2 ou posterior.
  • Modelos grandes, como os de 128 GB e 256 GB, precisam de muita memória e transmitem os pesos a partir do SSD.

Em coleções

Ferramentas, skills e plugins para Claude CodeRode LLMs localmenteApps open source para Mac

Tópicos

#apple-silicon#local-llm#mlx#openai-api#anthropic-api#inference#macos#tool-calling#agent#claude-code

Perguntas frequentes

O que é mlx-serve?
Servidor nativo local de LLMs e mídia para Macs com Apple Silicon, com APIs compatíveis com OpenAI, Anthropic e Ollama, sem exigir Python. O MLX-Serve executa modelos abertos no Mac por meio de um único app nativo para macOS e um servidor local. O servidor disponibiliza endpoints de chat, completions e Responses da OpenAI, Messages da Anthropic e APIs do Ollama em uma única porta, em localhost:11234. Assim, clientes existentes e agentes de programação como Claude Code podem se conectar sem alterações. O núcleo é escrito em Zig e roda no framework MLX da Apple, sem Python no runtime nem no processo de build.
mlx-serve é gratuito? Qual é a licença?
mlx-serve é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
mlx-serve ainda é mantido?
Manutenção ativa. O último commit de mlx-serve foi em 6 de nov. de 2026.
Para que posso usar mlx-serve?
Executar no Mac um assistente de chat privado e offline, sem enviar dados para uma API na nuvem. Conectar código existente que usa SDKs da OpenAI ou da Anthropic a um modelo local durante o desenvolvimento. Usar Claude Code ou outros agentes de programação com um modelo hospedado localmente. Gerar imagens, fala ou música no Mac ou iPhone sem recorrer a um serviço na nuvem.
Como instalar mlx-serve?
Adicione o repositório do Homebrew: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve Confie no tap: brew trust ddalcu/mlx-serve Instale o servidor de linha de comando: brew install mlx-serve Baixe o Gemma 4 e converse com ele no terminal: mlx-serve run gemma4
Onde consigo mlx-serve?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ddalcu/mlx-serve

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados