Repolode
Enviar
mostlygeek

mostlygeek/llama-swap

Um proxy leve em Go que alterna entre servidores locais de modelos de IA, como llama.cpp e vLLM, usando um único endpoint compatível com OpenAI e Anthropic.

Ver no GitHub
Estrelas
6,200
Forks
542
Issues abertas
116
Último commit
ontem

O que é?

llama-swap executa vários modelos locais de IA generativa em uma máquina e alterna entre eles sob demanda. Ele fica à frente de servidores de inferência como o llama-server do llama.cpp, vLLM, stable-diffusion.cpp e ComfyUI. Quando uma solicitação especifica um modelo, ele inicia o servidor correspondente e encerra o que estava em execução.

O projeto é distribuído como um único binário, configurado por um arquivo YAML no qual cada ID de modelo é associado a um comando de shell que inicia seu servidor. Ele expõe endpoints de chat, completion, embedding, áudio e imagem no estilo OpenAI, endpoints de mensagens da Anthropic e rotas específicas do llama-server. Entre os recursos opcionais estão uma interface web com playground e transmissão de logs, chaves de API, perfis, descarregamento automático baseado em TTL, execução simultânea de modelos por meio de uma configuração de matriz e contêineres Docker ou Podman.

Recursos principais

  • 01Um único binário e arquivo de configuração, sem dependências externas.
  • 02Alternância sob demanda entre llama.cpp, vLLM, stable-diffusion.cpp, ComfyUI e outros servidores compatíveis com OpenAI.
  • 03Disponibiliza endpoints compatíveis com OpenAI, Anthropic e llama-server em um único endereço.
  • 04Interface web integrada com playground, métricas de tokens e controles manuais para carregar e descarregar modelos.
  • 05Transmissão de logs em tempo real e métricas do Prometheus.
  • 06Controle de acesso por chave de API e descarregamento automático após um TTL configurável.

Casos de uso

  • Executar vários modelos locais de chat, programação e embedding em uma GPU e alternar entre eles pelo nome do modelo.
  • Oferecer às ferramentas locais um endpoint compatível com OpenAI que possa atender a diferentes backends.
  • Hospedar um servidor local de inferência compartilhado, com chaves de API e monitoramento, para uma equipe pequena.

Início rápido

  1. 1

    Instale pelo Homebrew (macOS/Linux)

    brew tap mostlygeek/llama-swap
  2. 2

    Instale a fórmula do llama-swap

    brew install llama-swap
  3. 3

    Inicie o llama-swap com seu arquivo de configuração

    llama-swap --config path/to/config.yaml --listen localhost:8080

Antes de usar

  • É necessário criar um arquivo de configuração YAML que indique os comandos do seu próprio servidor de modelos e os arquivos de modelo.

Em coleções

Rode LLMs localmente

Tópicos

#llm#llama-cpp#openai-api#model-serving#local-ai#proxy#golang#llama#llamacpp#localllama

Perguntas frequentes

O que é llama-swap?
Um proxy leve em Go que alterna entre servidores locais de modelos de IA, como llama.cpp e vLLM, usando um único endpoint compatível com OpenAI e Anthropic. llama-swap executa vários modelos locais de IA generativa em uma máquina e alterna entre eles sob demanda. Ele fica à frente de servidores de inferência como o llama-server do llama.cpp, vLLM, stable-diffusion.cpp e ComfyUI. Quando uma solicitação especifica um modelo, ele inicia o servidor correspondente e encerra o que estava em execução.
llama-swap é gratuito? Qual é a licença?
llama-swap é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
llama-swap ainda é mantido?
Manutenção ativa. O último commit de llama-swap foi em 6 de nov. de 2026.
Para que posso usar llama-swap?
Executar vários modelos locais de chat, programação e embedding em uma GPU e alternar entre eles pelo nome do modelo. Oferecer às ferramentas locais um endpoint compatível com OpenAI que possa atender a diferentes backends. Hospedar um servidor local de inferência compartilhado, com chaves de API e monitoramento, para uma equipe pequena.
Como instalar llama-swap?
Instale pelo Homebrew (macOS/Linux): brew tap mostlygeek/llama-swap Instale a fórmula do llama-swap: brew install llama-swap Inicie o llama-swap com seu arquivo de configuração: llama-swap --config path/to/config.yaml --listen localhost:8080
Onde consigo llama-swap?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mostlygeek/llama-swap

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados