Repolode
Enviar
mostlygeek

mostlygeek/llama-swap

Un proxy ligero en Go que intercambia en caliente servidores locales de modelos de IA, como llama.cpp y vLLM, tras un único endpoint compatible con OpenAI y Anthropic.

Ver en GitHub
Estrellas
6,200
Forks
542
Issues abiertos
116
Último commit
ayer

¿Qué es?

llama-swap ejecuta varios modelos locales de IA generativa en una misma máquina y cambia entre ellos bajo demanda. Se coloca delante de servidores de inferencia como llama-server de llama.cpp, vLLM, stable-diffusion.cpp y ComfyUI; cuando una solicitud indica un modelo, inicia el servidor correspondiente y detiene el que estaba en ejecución.

El proyecto se distribuye como un único binario configurado mediante un archivo YAML, donde cada ID de modelo corresponde a un comando de shell que inicia su servidor. Expone endpoints de chat, completado, embeddings, audio e imágenes al estilo de OpenAI, endpoints de mensajes de Anthropic y rutas específicas de llama-server. Entre sus funciones opcionales se incluyen una interfaz web con un área de pruebas y transmisión de logs, claves de API, perfiles, descarga automática basada en TTL, ejecución concurrente de modelos mediante un ajuste de matriz y contenedores de Docker o Podman.

Funciones clave

  • 01Un único binario y un archivo de configuración, sin dependencias externas.
  • 02Intercambio bajo demanda entre llama.cpp, vLLM, stable-diffusion.cpp, ComfyUI y otros servidores compatibles con OpenAI.
  • 03Expone endpoints compatibles con OpenAI, Anthropic y llama-server en una sola dirección.
  • 04Interfaz web integrada con un área de pruebas, métricas de tokens y controles manuales para cargar y descargar modelos.
  • 05Transmisión de logs en tiempo real y métricas de Prometheus.
  • 06Control de acceso mediante claves de API y descarga automática tras un TTL configurable.

Casos de uso

  • Ejecutar varios modelos locales de chat, programación y embeddings en una GPU y cambiar entre ellos por nombre de modelo.
  • Proporcionar a herramientas locales un endpoint compatible con OpenAI que pueda atender solicitudes de distintos backends.
  • Alojar un servidor de inferencia local compartido, con claves de API y supervisión para un equipo pequeño.

Inicio rápido

  1. 1

    Instala mediante Homebrew (macOS/Linux)

    brew tap mostlygeek/llama-swap
  2. 2

    Instala la fórmula de llama-swap

    brew install llama-swap
  3. 3

    Inicia llama-swap con tu archivo de configuración

    llama-swap --config path/to/config.yaml --listen localhost:8080

Antes de usarlo

  • Debes crear un archivo de configuración YAML que indique los comandos de tu propio servidor de modelos y los archivos de modelo.

En colecciones

Ejecuta LLM en local

Temas

#llm#llama-cpp#openai-api#model-serving#local-ai#proxy#golang#llama#llamacpp#localllama

Preguntas frecuentes

¿Qué es llama-swap?
Un proxy ligero en Go que intercambia en caliente servidores locales de modelos de IA, como llama.cpp y vLLM, tras un único endpoint compatible con OpenAI y Anthropic. llama-swap ejecuta varios modelos locales de IA generativa en una misma máquina y cambia entre ellos bajo demanda. Se coloca delante de servidores de inferencia como llama-server de llama.cpp, vLLM, stable-diffusion.cpp y ComfyUI; cuando una solicitud indica un modelo, inicia el servidor correspondiente y detiene el que estaba en ejecución.
¿llama-swap es gratuito? ¿Qué licencia tiene?
llama-swap es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llama-swap sigue mantenido?
Mantenimiento activo. El último commit de llama-swap fue el 6 nov 2026.
¿Para qué puedo usar llama-swap?
Ejecutar varios modelos locales de chat, programación y embeddings en una GPU y cambiar entre ellos por nombre de modelo. Proporcionar a herramientas locales un endpoint compatible con OpenAI que pueda atender solicitudes de distintos backends. Alojar un servidor de inferencia local compartido, con claves de API y supervisión para un equipo pequeño.
¿Cómo se instala llama-swap?
Instala mediante Homebrew (macOS/Linux): brew tap mostlygeek/llama-swap Instala la fórmula de llama-swap: brew install llama-swap Inicia llama-swap con tu archivo de configuración: llama-swap --config path/to/config.yaml --listen localhost:8080
¿Dónde consigo llama-swap?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mostlygeek/llama-swap

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados