Repolode
ENTERPILOT

ENTERPILOT/GoModel

여러 LLM 제공업체 앞단에서 OpenAI 및 Anthropic 호환 API를 제공하는 자체 호스팅 Go AI 게이트웨이로, 비용 추적, 장애 조치, 가드레일을 지원합니다.

대체할 수 있는 제품:LiteLLM

스타
1,302
포크
126
열린 이슈
87
마지막 커밋
21시간 전

어떤 프로젝트인가요?

GoModel은 애플리케이션과 LLM 제공업체 사이에서 요청을 중계하는 Go 기반 AI 게이트웨이입니다. 클라이언트는 /v1에 OpenAI 호환 형식으로, /v1/messages에 Anthropic 호환 형식으로 요청을 보내면 됩니다. GoModel은 요청을 OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM 등의 제공업체로 라우팅하므로, base URL만 바꾸면 공식 SDK를 그대로 사용할 수 있습니다.

라우팅 외에도 다양한 운영 제어 기능을 제공합니다. 응답의 완전 일치 및 의미 기반 캐싱, 요청별 비용 추산, 사용자 경로·키·모델별 예산과 속도 제한, 재시도 및 회로 차단기를 적용한 자동 장애 조치 기능이 포함됩니다. 가상 모델은 라운드 로빈 또는 비용 기반 로드 밸런싱을 통해 일관된 이름을 제공하며, 세션 유지 기능은 클라이언트 세션이 하나의 제공업체 키를 계속 사용하도록 고정합니다.

플레이그라운드가 포함된 관리자 대시보드, 실시간 요청 로그, Prometheus 메트릭, OpenTelemetry 트레이스, 감사 로그도 제공합니다. 가드레일, MCP 게이트웨이, 플러그인 시스템을 사용할 수 있으며, 배포용 Docker 이미지와 Docker Compose 파일도 제공됩니다.

핵심 기능

  • 01여러 LLM 제공업체에서 사용할 수 있는 통합 OpenAI 및 Anthropic 호환 엔드포인트
  • 02응답의 완전 일치 및 의미 기반 캐싱
  • 03요청별 비용 추적, 예산 및 속도 제한
  • 04재시도 및 회로 차단기를 지원하는 장애 조치
  • 05라운드 로빈 또는 비용 기반 로드 밸런싱을 지원하는 가상 모델
  • 06Prometheus 메트릭, OpenTelemetry 트레이스 및 실시간 로그

활용 사례

  • 클라이언트 코드를 변경하지 않고 하나의 애플리케이션을 여러 LLM 제공업체로 라우팅
  • 팀 또는 API 키별 AI 지출 추적 및 한도 설정
  • Ollama나 vLLM 같은 자체 호스팅 모델 앞단에 캐싱 및 장애 조치 추가
  • LLM 트래픽의 중앙 프록시로 LiteLLM 대체

빠른 시작

  1. 1

    Docker로 GoModel을 시작합니다

    docker run --rm -p 8080:8080 -v gomodel_data:/app/data enterpilot/gomodel
  2. 2

    README의 공식 설치 스크립트를 실행합니다(macOS/Linux 또는 Windows)

  3. 3

    localhost:8080에서 대시보드를 열고 provider를 추가합니다

  4. 4

    /v1/responses 엔드포인트에 테스트 API 요청을 보냅니다

    curl http://localhost:8080/v1/responses -H "Content-Type: application/json" -d '{"model": "gpt-5-chat-latest", "input": "Hello!"}'

사용 전 알아둘 점

  • 프롬프트 압축, 지능형 라우팅, OIDC 싱글 사인온 등의 일부 기능은 상용 GoModel Pro 빌드에서만 사용할 수 있습니다.
  • 호스팅 모델을 사용하려면 직접 발급받은 provider API 키가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

GoModel은(는) 무엇인가요?
여러 LLM 제공업체 앞단에서 OpenAI 및 Anthropic 호환 API를 제공하는 자체 호스팅 Go AI 게이트웨이로, 비용 추적, 장애 조치, 가드레일을 지원합니다. GoModel은 애플리케이션과 LLM 제공업체 사이에서 요청을 중계하는 Go 기반 AI 게이트웨이입니다. 클라이언트는 /v1에 OpenAI 호환 형식으로, /v1/messages에 Anthropic 호환 형식으로 요청을 보내면 됩니다. GoModel은 요청을 OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM 등의 제공업체로 라우팅하므로, base URL만 바꾸면 공식 SDK를 그대로 사용할 수 있습니다.
GoModel은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
GoModel은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
GoModel은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. GoModel의 마지막 커밋은 2026년 11월 5일입니다.
GoModel은(는) 어디에 사용할 수 있나요?
클라이언트 코드를 변경하지 않고 하나의 애플리케이션을 여러 LLM 제공업체로 라우팅 팀 또는 API 키별 AI 지출 추적 및 한도 설정 Ollama나 vLLM 같은 자체 호스팅 모델 앞단에 캐싱 및 장애 조치 추가 LLM 트래픽의 중앙 프록시로 LiteLLM 대체
GoModel는 어떻게 설치하나요?
Docker로 GoModel을 시작합니다: docker run --rm -p 8080:8080 -v gomodel_data:/app/data enterpilot/gomodel README의 공식 설치 스크립트를 실행합니다(macOS/Linux 또는 Windows) localhost:8080에서 대시보드를 열고 provider를 추가합니다 /v1/responses 엔드포인트에 테스트 API 요청을 보냅니다: curl http://localhost:8080/v1/responses -H "Content-Type: application/json" -d '{"model": "gpt-5-chat-latest", "input": "Hello!"}'
GoModel은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ENTERPILOT/GoModel

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트