Repolode
제출하기
ferro-labs

ferro-labs/ai-gateway

30개 제공업체로 LLM 요청을 라우팅하는 오픈소스 Go 게이트웨이로, 캐싱, 가드레일, 비용 제어 기능을 하나의 OpenAI 호환 API로 제공합니다.

대체할 수 있는 제품:LiteLLM

GitHub에서 보기웹사이트
스타
280
포크
40
열린 이슈
67
마지막 커밋
5일 전

어떤 프로젝트인가요?

Ferro Labs AI Gateway는 애플리케이션과 OpenAI, Anthropic, AWS Bedrock 같은 LLM 제공업체 사이에서 동작하는 자체 호스팅 프록시입니다. 클라이언트는 하나의 엔드포인트로 표준 OpenAI 형식의 요청을 보내고, 게이트웨이는 구성된 제공업체로 요청을 전달합니다. 이때 대체, 로드 밸런싱, 최저 지연 시간, 비용 최적화, A/B 테스트 등의 라우팅 전략을 사용할 수 있습니다.

게이트웨이는 외부 서비스 없이 사용할 수 있는 단일 정적 Go 바이너리로 제공됩니다. 단어 필터링, PII 마스킹, 시크릿 스캔, 프롬프트 인젝션 탐지, 응답 캐싱, 속도 제한, 키별 예산 설정을 위한 플러그인이 내장되어 있으며, MCP 도구 서버에 연결해 도구 호출 루프를 실행할 수도 있습니다. 활성화하면 OpenTelemetry 트레이싱과 Prometheus 메트릭을 사용할 수 있고, 웹 대시보드는 릴리스 바이너리에 포함되어 있습니다.

설정은 YAML 또는 JSON 파일 하나로 관리하며, CLI에서 init, validate, doctor 명령을 제공합니다. 배포 옵션으로는 Docker, Kubernetes용 Helm, Railway, Render가 있으며, 저장소로 SQLite 또는 PostgreSQL을 사용할 수 있습니다.

핵심 기능

  • 01하나의 OpenAI 호환 API를 통해 30개 LLM 제공업체로 요청을 라우팅합니다.
  • 02대체, 로드 밸런싱, A/B 테스트를 포함한 8가지 라우팅 전략을 제공합니다.
  • 03PII 마스킹, 시크릿 스캔, 프롬프트 인젝션 탐지를 위한 가드레일이 내장되어 있습니다.
  • 04응답 캐싱, 속도 제한, 키별 예산 제어 기능을 제공합니다.
  • 05stdio 및 Streamable HTTP를 통해 MCP 도구 서버에 연결합니다.
  • 06활성화하기 전까지 비활성화된 OpenTelemetry 트레이싱과 Prometheus 메트릭을 제공합니다.

활용 사례

  • 내부 팀이 여러 LLM 제공업체에 하나의 엔드포인트로 연결하고, 제공업체 간 장애 조치를 사용할 수 있게 합니다.
  • 프롬프트가 외부 모델 API에 전달되기 전에 PII 마스킹이나 콘텐츠 필터를 적용합니다.
  • 애플리케이션 전반의 토큰 사용 비용을 추적하고 키별 예산을 설정합니다.
  • 기존 OpenAI SDK 클라이언트를 사용하면서 Kubernetes 또는 Docker에서 자체 호스팅 게이트웨이를 운영합니다.

빠른 시작

  1. 1

    npm으로 ferrogw CLI를 설치합니다

    npm install -g ferrogw
  2. 2

    업스트림 제공업체 API 키를 설정합니다(여기서는 OpenAI)

    export OPENAI_API_KEY=sk-your-key
  3. 3

    ferrogw init을 실행해 config.yaml을 작성하고 마스터 키를 출력합니다. 키는 한 번만 표시되므로 저장해 두세요

    ferrogw init
  4. 4

    README에 설명된 대로 먼저 GATEWAY_CONFIG와 MASTER_KEY를 설정한 다음 포트 8080에서 서버를 시작합니다

    ferrogw serve

사용 전 알아둘 점

  • 요청을 라우팅하려면 OPENAI_API_KEY와 같은 업스트림 제공업체 API 키가 하나 이상 필요합니다.

포함된 컬렉션

MCP 서버OpenTelemetry 및 옵저버빌리티 플랫폼

토픽

#llm-gateway#openai-compatible#llm-proxy#guardrails#semantic-cache#mcp#observability#golang#ai-gateway#ai-infrastructure

자주 묻는 질문

ai-gateway은(는) 무엇인가요?
30개 제공업체로 LLM 요청을 라우팅하는 오픈소스 Go 게이트웨이로, 캐싱, 가드레일, 비용 제어 기능을 하나의 OpenAI 호환 API로 제공합니다. Ferro Labs AI Gateway는 애플리케이션과 OpenAI, Anthropic, AWS Bedrock 같은 LLM 제공업체 사이에서 동작하는 자체 호스팅 프록시입니다. 클라이언트는 하나의 엔드포인트로 표준 OpenAI 형식의 요청을 보내고, 게이트웨이는 구성된 제공업체로 요청을 전달합니다. 이때 대체, 로드 밸런싱, 최저 지연 시간, 비용 최적화, A/B 테스트 등의 라우팅 전략을 사용할 수 있습니다.
ai-gateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
ai-gateway은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ai-gateway은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. ai-gateway의 마지막 커밋은 2026년 11월 2일입니다.
ai-gateway은(는) 어디에 사용할 수 있나요?
내부 팀이 여러 LLM 제공업체에 하나의 엔드포인트로 연결하고, 제공업체 간 장애 조치를 사용할 수 있게 합니다. 프롬프트가 외부 모델 API에 전달되기 전에 PII 마스킹이나 콘텐츠 필터를 적용합니다. 애플리케이션 전반의 토큰 사용 비용을 추적하고 키별 예산을 설정합니다. 기존 OpenAI SDK 클라이언트를 사용하면서 Kubernetes 또는 Docker에서 자체 호스팅 게이트웨이를 운영합니다.
ai-gateway는 어떻게 설치하나요?
npm으로 ferrogw CLI를 설치합니다: npm install -g ferrogw 업스트림 제공업체 API 키를 설정합니다(여기서는 OpenAI): export OPENAI_API_KEY=sk-your-key ferrogw init을 실행해 config.yaml을 작성하고 마스터 키를 출력합니다. 키는 한 번만 표시되므로 저장해 두세요: ferrogw init README에 설명된 대로 먼저 GATEWAY_CONFIG와 MASTER_KEY를 설정한 다음 포트 8080에서 서버를 시작합니다: ferrogw serve
ai-gateway은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ferro-labs/ai-gateway

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트