mylxsw/llm-gateway

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI Chat, Responses, Embeddings, 오디오 및 이미지 엔드포인트와 Anthropic Messages를 제공합니다.
• 02OpenAI Chat, OpenAI Responses, Anthropic 형식 간에 요청과 스트리밍 응답을 변환합니다.
• 03라운드 로빈, 우선순위, 가중치, 최저 비용 방식으로 라우팅하며 규칙 기반 매칭도 지원합니다.
• 04서버 오류가 발생하면 요청을 재시도하고 백업 제공업체로 장애 조치합니다.
• 05민감한 데이터를 마스킹하면서 토큰 사용량, 지연 시간, 전체 요청 및 응답 본문을 기록합니다.
• 06관리용 웹 대시보드와 MCP 인터페이스를 제공합니다.

활용 사례

• 여러 내부 애플리케이션이 여러 LLM 제공업체를 위한 단일 엔드포인트와 API 키를 사용하도록 합니다.
• 한 제공업체에 장애가 발생해도 AI 기능이 중단되지 않도록 장애 조치를 추가합니다.
• API 키, 모델 또는 제공업체별 토큰 사용량과 비용을 추적합니다.
• 기존 OpenAI 또는 Anthropic SDK 코드가 Ollama나 vLLM 같은 셀프 호스팅 또는 로컬 모델을 가리키도록 설정합니다.

빠른 시작

1. 1

   리포지토리를 클론합니다

   git clone https://github.com/mylxsw/llm-gateway.git
2. 2

   프로젝트 디렉터리로 이동한 뒤 시작하기 전에 ADMIN_USERNAME과 ADMIN_PASSWORD를 설정합니다

   cd llm-gateway
3. 3

   Docker Compose로 서비스를 시작합니다(대시보드: http://localhost:8000)

   docker compose -f docker-compose.prod.yml up -d

사용 전 알아둘 점

• !ADMIN_USERNAME과 ADMIN_PASSWORD를 설정하지 않으면 관리자 API가 기본적으로 공개되므로 인증 정보를 설정해야 합니다.
• !이 프로젝트는 셀프 호스팅 방식이며, 프로덕션 환경에서 사용하려면 프로바이더, API 키, 암호화 키를 설정해야 합니다.
• !메타데이터에는 라이선스가 기재되어 있지 않지만 README 배지에는 MIT라고 표시되어 있습니다.

토픽

자주 묻는 질문

llm-gateway은(는) 무엇인가요?

OpenAI, Anthropic 및 호환 API를 라우팅, 장애 조치, 요청 로깅, 웹 대시보드와 함께 중계하는 셀프 호스팅 LLM 게이트웨이입니다. Squirrel은 애플리케이션과 LLM 제공업체 사이에서 동작하는 프록시 서비스입니다. 애플리케이션에서 OpenAI 또는 Anthropic SDK가 게이트웨이를 가리키도록 설정하면, 게이트웨이가 요청을 구성된 업스트림 제공업체로 전달합니다. 따라서 제공업체 인증 정보, 모델 이름, 라우팅 규칙을 한곳에서 관리할 수 있습니다.

llm-gateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-gateway에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.

llm-gateway은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-gateway의 마지막 커밋은 2026년 10월 4일입니다.

llm-gateway은(는) 어디에 사용할 수 있나요?

여러 내부 애플리케이션이 여러 LLM 제공업체를 위한 단일 엔드포인트와 API 키를 사용하도록 합니다. 한 제공업체에 장애가 발생해도 AI 기능이 중단되지 않도록 장애 조치를 추가합니다. API 키, 모델 또는 제공업체별 토큰 사용량과 비용을 추적합니다. 기존 OpenAI 또는 Anthropic SDK 코드가 Ollama나 vLLM 같은 셀프 호스팅 또는 로컬 모델을 가리키도록 설정합니다.

llm-gateway는 어떻게 설치하나요?

리포지토리를 클론합니다: git clone https://github.com/mylxsw/llm-gateway.git 프로젝트 디렉터리로 이동한 뒤 시작하기 전에 ADMIN_USERNAME과 ADMIN_PASSWORD를 설정합니다: cd llm-gateway Docker Compose로 서비스를 시작합니다(대시보드: http://localhost:8000): docker compose -f docker-compose.prod.yml up -d

llm-gateway은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mylxsw/llm-gateway