Repolode
Enviar
jundot

jundot/omlx

Servidor de inferência de LLM para Macs com Apple Silicon, com batching contínuo, cache KV em camadas de RAM/SSD e gerenciamento pela barra de menus.

Alternativa open source a:LM StudioOllama

Ver no GitHubSite
Estrelas
23,420
Forks
2,102
Issues abertas
577
Último commit
anteontem

O que é?

oMLX é um servidor de inferência de LLM feito para Macs com Apple Silicon, baseado em MLX e mlx-lm. Ele disponibiliza APIs compatíveis com OpenAI e Anthropic em um endereço local, permitindo que clientes e ferramentas de programação existentes se conectem aos modelos executados na máquina. O servidor atende LLMs de texto, modelos de visão e linguagem, modelos de OCR, embeddings e rerankers.

O servidor mantém o cache KV em duas camadas: os blocos usados com frequência ficam na RAM, enquanto os mais antigos são gravados no SSD e restaurados quando um prefixo correspondente aparece novamente, mesmo após uma reinicialização. Ele também processa solicitações simultâneas com batching contínuo e gerencia vários modelos carregados com política de descarte LRU, fixação de modelos, TTL por modelo e um limite total de memória.

Um app nativo para a barra de menus, feito com SwiftUI, inicia, para e monitora o servidor. Um painel web de administração em /admin permite baixar modelos do Hugging Face, conversar com eles, executar benchmarks e ajustar configurações por modelo. A instalação está disponível por meio de um DMG para macOS, Homebrew ou instalação a partir do código-fonte.

Recursos principais

  • 01Disponibiliza endpoints de chat, conclusão, embeddings e reranking compatíveis com OpenAI e Anthropic.
  • 02Cache KV em camadas, com uma camada quente na RAM e uma camada fria no SSD que persiste após reinicializações.
  • 03Batching contínuo para solicitações simultâneas usando o BatchGenerator do mlx-lm.
  • 04Atendimento de vários modelos com descarte LRU, fixação de modelos, TTL por modelo e limites de memória.
  • 05App nativo para a barra de menus e painel web de administração para monitoramento, downloads e configurações.
  • 06Detecção automática do formato de chamadas de ferramentas para várias famílias de modelos, com suporte a MCP.

Casos de uso

  • Executar assistentes de programação locais, como o Claude Code, com modelos no Mac.
  • Disponibilizar um endpoint local compatível com OpenAI para apps que esperam uma API na nuvem.
  • Manter carregados os modelos usados com frequência e carregar modelos mais pesados sob demanda.
  • Executar modelos de embeddings, reranking ou OCR junto com modelos de chat em um único Mac.

Início rápido

  1. 1

    Adicione o tap do Homebrew

    brew tap jundot/omlx https://github.com/jundot/omlx
  2. 2

    Instale o oMLX com o Homebrew

    brew install jundot/omlx/omlx
  3. 3

    Inicie um servidor em primeiro plano com o diretório dos seus modelos

    omlx serve --model-dir ~/models

Antes de usar

  • Compatível apenas com Macs com Apple Silicon; requer macOS 15.0 ou posterior.
  • Algumas famílias de modelos precisam de kernels personalizados nativos. Para compilar a partir do código-fonte, é necessário ter o Xcode completo com a toolchain do Metal.

Em coleções

Rode LLMs localmenteApps open source para Mac

Tópicos

#apple-silicon#llm-inference#mlx#openai-api#kv-cache#local-llm#macos#inference-server#llm

Perguntas frequentes

O que é omlx?
Servidor de inferência de LLM para Macs com Apple Silicon, com batching contínuo, cache KV em camadas de RAM/SSD e gerenciamento pela barra de menus. oMLX é um servidor de inferência de LLM feito para Macs com Apple Silicon, baseado em MLX e mlx-lm. Ele disponibiliza APIs compatíveis com OpenAI e Anthropic em um endereço local, permitindo que clientes e ferramentas de programação existentes se conectem aos modelos executados na máquina. O servidor atende LLMs de texto, modelos de visão e linguagem, modelos de OCR, embeddings e rerankers.
omlx é gratuito? Qual é a licença?
omlx é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
omlx ainda é mantido?
Manutenção ativa. O último commit de omlx foi em 5 de nov. de 2026.
Para que posso usar omlx?
Executar assistentes de programação locais, como o Claude Code, com modelos no Mac. Disponibilizar um endpoint local compatível com OpenAI para apps que esperam uma API na nuvem. Manter carregados os modelos usados com frequência e carregar modelos mais pesados sob demanda. Executar modelos de embeddings, reranking ou OCR junto com modelos de chat em um único Mac.
Como instalar omlx?
Adicione o tap do Homebrew: brew tap jundot/omlx https://github.com/jundot/omlx Instale o oMLX com o Homebrew: brew install jundot/omlx/omlx Inicie um servidor em primeiro plano com o diretório dos seus modelos: omlx serve --model-dir ~/models
Onde consigo omlx?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jundot/omlx

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados