Executa modelos de IA abertos localmente em Macs com Apple Silicon usando MLX e os disponibiliza por um servidor compatível com a API da Anthropic, para usar o Claude Code offline.
3,4 mil638PythonMITAtualizado há 12 horas
- Estrelas
- 899
- Forks
- 97
- Issues abertas
- 63
- Último commit
- ontem
O que é?
vMLX é um servidor de inferência para executar localmente modelos de linguagem de grande porte, modelos de visão e linguagem e modelos de geração de imagens em computadores Mac com Apple Silicon. Ele disponibiliza endpoints HTTP compatíveis com OpenAI, Anthropic e Ollama, permitindo que SDKs e ferramentas existentes, como o cliente OpenAI para Python, o SDK da Anthropic ou a CLI do Ollama, se conectem a um servidor local sem precisar de chaves de API de terceiros. Os modelos são carregados de repositórios do Hugging Face ou de caminhos locais, e os modelos da mlx-community são um ponto de partida comum.
O servidor inclui várias camadas de cache, como cache de prefixo, KV cache paginado, quantização de KV e cache em disco opcional, que reutilizam o estado do prompt em mensagens repetidas ou subsequentes. Também oferece batching contínuo, chamadas de ferramentas e parsers de raciocínio para várias famílias de modelos, speculative decoding e paralelismo de pipeline entre vários Macs para modelos grandes demais para uma única máquina. Geração e edição de imagens com Flux e Qwen Image Edit, além de embeddings, reranking, conversão de fala em texto com Whisper e conversão de texto em fala com Kokoro, estão disponíveis no mesmo servidor.
O projeto também inclui o JANG, um formato de quantização adaptativa de precisão mista com ferramentas de conversão, e o MLX Studio, um app para desktop macOS com chat, gerenciamento do servidor e ferramentas para desenvolvedores. Pode ser instalado pelo PyPI como `vmlx`.
Recursos principais
- 01Disponibiliza endpoints de chat, conclusão, embeddings e reranking compatíveis com OpenAI, Anthropic e Ollama.
- 02Cache de KV em várias camadas, com prefixo, paginação e disco, além de quantização q4/q8 opcional.
- 03Batching contínuo e speculative decoding ou prompt lookup para acelerar a geração.
- 04Parsers de chamadas de ferramentas e raciocínio (thinking) detectados automaticamente em várias famílias de modelos.
- 05Geração e edição de imagens com os modelos Flux e Qwen Image Edit.
- 06Paralelismo de pipeline distribuído entre vários Macs para modelos maiores.
Casos de uso
- Executar modelos de chat com pesos abertos de forma privada em um Mac, sem enviar dados para APIs na nuvem.
- Apontar código existente que usa os SDKs da OpenAI ou da Anthropic para um modelo local durante o desenvolvimento.
- Disponibilizar um modelo local para várias ferramentas ao mesmo tempo por meio de um único gateway de API.
- Gerar ou editar imagens localmente em hardware Apple Silicon.
Início rápido
- 1
Instale o uv com o Homebrew
brew install uv - 2
Instale o vmlx do PyPI como ferramenta
uv tool install vmlx - 3
Inicie o servidor com um modelo do mlx-community
vmlx serve mlx-community/Qwen3-8B-4bit
Antes de usar
- Funciona apenas em Macs com Apple Silicon; não funciona em Linux, Windows nem Macs com Intel.
- Requer Python 3.10 ou mais recente.
Em coleções
Tópicos
Perguntas frequentes
- O que é vmlx?
- Servidor de inferência MLX self-hosted para Apple Silicon, com APIs compatíveis com OpenAI, Anthropic e Ollama para LLMs, VLMs e geração de imagens. vMLX é um servidor de inferência para executar localmente modelos de linguagem de grande porte, modelos de visão e linguagem e modelos de geração de imagens em computadores Mac com Apple Silicon. Ele disponibiliza endpoints HTTP compatíveis com OpenAI, Anthropic e Ollama, permitindo que SDKs e ferramentas existentes, como o cliente OpenAI para Python, o SDK da Anthropic ou a CLI do Ollama, se conectem a um servidor local sem precisar de chaves de API de terceiros. Os modelos são carregados de repositórios do Hugging Face ou de caminhos locais, e os modelos da mlx-community são um ponto de partida comum.
- vmlx é gratuito? Qual é a licença?
- vmlx é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- vmlx ainda é mantido?
- Manutenção ativa. O último commit de vmlx foi em 21 de out. de 2026.
- Para que posso usar vmlx?
- Executar modelos de chat com pesos abertos de forma privada em um Mac, sem enviar dados para APIs na nuvem. Apontar código existente que usa os SDKs da OpenAI ou da Anthropic para um modelo local durante o desenvolvimento. Disponibilizar um modelo local para várias ferramentas ao mesmo tempo por meio de um único gateway de API. Gerar ou editar imagens localmente em hardware Apple Silicon.
- Como instalar vmlx?
- Instale o uv com o Homebrew: brew install uv Instale o vmlx do PyPI como ferramenta: uv tool install vmlx Inicie o servidor com um modelo do mlx-community: vmlx serve mlx-community/Qwen3-8B-4bit
- Onde consigo vmlx?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jjang-ai/vmlx
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas.
48 mil3,6 milPythonApache-2.0Atualizado há 9 dias
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
132 mil24,7 milC++MITAtualizado há 2 horas
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
38,2 mil2,5 milRustMITAtualizado há 14 horas
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,7 mil1,5 milPythonApache-2.0Atualizado há 10 horas
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,3 mil511RustApache-2.0Atualizado há 14 horas