mostlygeek/llama-swap

Что это?

Ключевые возможности

• 01Один бинарный файл и один файл конфигурации без внешних зависимостей.
• 02Переключение по запросу между llama.cpp, vLLM, stable-diffusion.cpp, ComfyUI и другими серверами с поддержкой OpenAI API.
• 03Эндпоинты с поддержкой OpenAI, Anthropic и llama-server доступны по одному адресу.
• 04Встроенный веб-интерфейс с playground, метриками токенов и ручным управлением загрузкой и выгрузкой моделей.
• 05Потоковая передача логов в реальном времени и метрики Prometheus.
• 06Контроль доступа по API-ключам и автоматическая выгрузка по истечении настраиваемого TTL.

Сценарии использования

• Запуск нескольких локальных моделей для чата, программирования и создания эмбеддингов на одном GPU с переключением по имени модели.
• Предоставление локальным инструментам эндпоинта с поддержкой OpenAI API, который может обслуживать разные бэкенды.
• Развёртывание общего локального сервера инференса с API-ключами и мониторингом для небольшой команды.

Быстрый старт

1. 1

   Установите через Homebrew (macOS/Linux)

   brew tap mostlygeek/llama-swap
2. 2

   Установите формулу llama-swap

   brew install llama-swap
3. 3

   Запустите llama-swap с файлом конфигурации

   llama-swap --config path/to/config.yaml --listen localhost:8080

Что важно знать

• !Необходимо создать файл конфигурации YAML, указав команды собственного сервера моделей и файлы моделей.

В подборках

Темы

Частые вопросы

Что такое llama-swap?

Лёгкий прокси на Go, который переключает локальные AI-серверы моделей, например llama.cpp и vLLM, через единую точку доступа с поддержкой OpenAI и Anthropic. llama-swap запускает на одной машине несколько локальных генеративных AI-моделей и переключается между ними по запросу. Он работает перед серверами инференса, такими как llama-server из llama.cpp, vLLM, stable-diffusion.cpp и ComfyUI: когда в запросе указана модель, llama-swap запускает соответствующий сервер и останавливает предыдущий.

llama-swap можно использовать бесплатно? Какая у него лицензия?

llama-swap распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llama-swap всё ещё поддерживается?

Активно поддерживается. Последний коммит в llama-swap — 6 нояб. 2026 г..

Для чего можно использовать llama-swap?

Запуск нескольких локальных моделей для чата, программирования и создания эмбеддингов на одном GPU с переключением по имени модели. Предоставление локальным инструментам эндпоинта с поддержкой OpenAI API, который может обслуживать разные бэкенды. Развёртывание общего локального сервера инференса с API-ключами и мониторингом для небольшой команды.

Как установить llama-swap?

Установите через Homebrew (macOS/Linux): brew tap mostlygeek/llama-swap Установите формулу llama-swap: brew install llama-swap Запустите llama-swap с файлом конфигурации: llama-swap --config path/to/config.yaml --listen localhost:8080

Где скачать llama-swap?

Исходный код и инструкции по установке — на GitHub: https://github.com/mostlygeek/llama-swap