Repolode
Enviar
Generated-Computers

Generated-Computers/Locals

Servidor local de inferência para Macs com Apple silicon, que atende vários agentes de programação com IA ao mesmo tempo, usando decodificação em lote e chamadas de ferramentas com gramática restrita.

Ver no GitHubSite
Estrelas
635
Forks
40
Issues abertas
7
Último commit
há 10 horas

O que é?

Locals é um servidor local de modelos para Mac, desenvolvido para agentes, não para conversas comuns. Os agentes enviam chamadas de ferramentas, conversas longas e muitas solicitações paralelas; Locals processa tudo isso com kernels de GPU em lote, saídas de chamadas de ferramentas restritas pelo schema de cada ferramenta e um cache de prompt que é mantido entre turnos e reinicializações. O README informa um throughput até 3x maior que o do mlx-lm quando oito solicitações são executadas simultaneamente em um M2 Pro com 16 GB, usando o Qwen3.5-4B.

O servidor oferece APIs compatíveis com OpenAI, Anthropic e Ollama, para que ferramentas como OpenCode, Cline, Aider, OpenHands, Claude Code e Hermes Agent possam se conectar com um único comando de inicialização, por exemplo, `locals code ~/my-project`. Locals também inclui um modo `locals run`, que divide uma tarefa entre vários agentes, cada um trabalhando em sua própria cópia do projeto e com o trabalho verificado pelos testes do projeto. Tudo é executado na máquina local, e o projeto exige Apple silicon com macOS 14 ou posterior.

Recursos principais

  • 01Decodificação em lote, para que várias solicitações de agentes compartilhem uma única passagem pela GPU.
  • 02Chamadas de ferramentas restritas pelo schema da ferramenta, para que os argumentos correspondam aos tipos esperados.
  • 03Cache de prompts e conversas que persiste entre turnos e reinicializações.
  • 04Compatível com as APIs da OpenAI, Anthropic e Ollama.
  • 05Inicialização com um único comando para OpenCode, Aider, Cline, OpenHands, Claude Code e outras ferramentas.
  • 06Modo multiagente `locals run`, que testa cada parte em uma cópia isolada do projeto.

Casos de uso

  • Executar vários agentes de programação em paralelo em um Mac sem enviar código para uma API na nuvem.
  • Trabalhar em um projeto local com OpenCode ou Aider usando um modelo executado no próprio computador.
  • Disponibilizar um endpoint local compatível com OpenAI para extensões de editor, como Cline ou Roo Code.
  • Fazer perguntas sobre uma base de código ou um documento extenso usando um contexto longo armazenado em cache.

Início rápido

  1. 1

    Execute o script oficial de instalação indicado no README

  2. 2

    Ou instale pelo PyPI com uv

    uv tool install --python 3.12 locals
  3. 3

    Abra uma nova janela do Terminal e inicie o OpenCode no seu projeto

    locals code ~/my-project

Antes de usar

  • Funciona apenas no macOS com Apple silicon.
  • O Flint precisa de pelo menos 24 GB de memória, e sua versão mais recente ainda não está disponível no PyPI.
  • Alguns chips (M1, M3, M4) ainda não foram submetidos a benchmarks.

Em coleções

Programar com LLMs locaisFrameworks e apps de agentes de IA open sourceAssistentes e agentes de programação com IARode LLMs localmenteApps open source para Mac

Tópicos

#ai-agents#local-llm#apple-silicon#mlx#inference-engine#coding-agents#openai-compatible#macos#agents#artificial-intelligence

Perguntas frequentes

O que é Locals?
Servidor local de inferência para Macs com Apple silicon, que atende vários agentes de programação com IA ao mesmo tempo, usando decodificação em lote e chamadas de ferramentas com gramática restrita. Locals é um servidor local de modelos para Mac, desenvolvido para agentes, não para conversas comuns. Os agentes enviam chamadas de ferramentas, conversas longas e muitas solicitações paralelas; Locals processa tudo isso com kernels de GPU em lote, saídas de chamadas de ferramentas restritas pelo schema de cada ferramenta e um cache de prompt que é mantido entre turnos e reinicializações. O README informa um throughput até 3x maior que o do mlx-lm quando oito solicitações são executadas simultaneamente em um M2 Pro com 16 GB, usando o Qwen3.5-4B.
Locals é gratuito? Qual é a licença?
Locals é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Locals ainda é mantido?
Manutenção ativa. O último commit de Locals foi em 6 de nov. de 2026.
Para que posso usar Locals?
Executar vários agentes de programação em paralelo em um Mac sem enviar código para uma API na nuvem. Trabalhar em um projeto local com OpenCode ou Aider usando um modelo executado no próprio computador. Disponibilizar um endpoint local compatível com OpenAI para extensões de editor, como Cline ou Roo Code. Fazer perguntas sobre uma base de código ou um documento extenso usando um contexto longo armazenado em cache.
Como instalar Locals?
Execute o script oficial de instalação indicado no README Ou instale pelo PyPI com uv: uv tool install --python 3.12 locals Abra uma nova janela do Terminal e inicie o OpenCode no seu projeto: locals code ~/my-project
Onde consigo Locals?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Generated-Computers/Locals

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados