mostlygeek/llama-swap

어떤 프로젝트인가요?

핵심 기능

• 01외부 의존성 없이 단일 바이너리와 하나의 설정 파일로 실행할 수 있습니다.
• 02llama.cpp, vLLM, stable-diffusion.cpp, ComfyUI 및 기타 OpenAI 호환 서버를 요청에 따라 전환합니다.
• 03하나의 주소에서 OpenAI, Anthropic, llama-server 호환 엔드포인트를 제공합니다.
• 04플레이그라운드, 토큰 사용량 지표, 수동 로드 및 언로드 기능이 내장된 웹 UI를 제공합니다.
• 05실시간 로그 스트리밍과 Prometheus 메트릭을 지원합니다.
• 06API 키로 접근을 제어하고 설정 가능한 TTL이 지나면 자동으로 언로드합니다.

활용 사례

• 한 GPU에서 여러 로컬 채팅, 코딩, 임베딩 모델을 실행하고 모델 이름으로 전환합니다.
• 다양한 백엔드를 제공할 수 있는 OpenAI 호환 엔드포인트를 로컬 도구에 제공합니다.
• 소규모 팀을 위해 API 키와 모니터링을 갖춘 공유 로컬 추론 서버를 호스팅합니다.

빠른 시작

1. 1

   Homebrew로 설치(macOS/Linux)

   brew tap mostlygeek/llama-swap
2. 2

   llama-swap formula 설치

   brew install llama-swap
3. 3

   설정 파일로 llama-swap 시작

   llama-swap --config path/to/config.yaml --listen localhost:8080

사용 전 알아둘 점

• !직접 사용할 모델 서버 명령과 모델 파일을 지정하는 YAML 설정 파일을 작성해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llama-swap은(는) 무엇인가요?

llama.cpp와 vLLM 같은 로컬 AI 모델 서버를 하나의 OpenAI 및 Anthropic 호환 엔드포인트 뒤에서 핫스왑하는 경량 Go 프록시입니다. llama-swap은 한 대의 머신에서 여러 로컬 생성형 AI 모델을 실행하고, 요청에 따라 모델을 전환합니다. llama.cpp의 llama-server, vLLM, stable-diffusion.cpp, ComfyUI 같은 추론 서버 앞에서 동작하며, 요청에 모델이 지정되면 해당 서버를 시작하고 이전에 실행 중이던 서버를 중지합니다.

llama-swap은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llama-swap은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llama-swap은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llama-swap의 마지막 커밋은 2026년 11월 6일입니다.

llama-swap은(는) 어디에 사용할 수 있나요?

한 GPU에서 여러 로컬 채팅, 코딩, 임베딩 모델을 실행하고 모델 이름으로 전환합니다. 다양한 백엔드를 제공할 수 있는 OpenAI 호환 엔드포인트를 로컬 도구에 제공합니다. 소규모 팀을 위해 API 키와 모니터링을 갖춘 공유 로컬 추론 서버를 호스팅합니다.

llama-swap는 어떻게 설치하나요?

Homebrew로 설치(macOS/Linux): brew tap mostlygeek/llama-swap llama-swap formula 설치: brew install llama-swap 설정 파일로 llama-swap 시작: llama-swap --config path/to/config.yaml --listen localhost:8080

llama-swap은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mostlygeek/llama-swap