Repolode
maximhq

maximhq/bifrost

23개 이상의 LLM 제공업체를 하나의 OpenAI 호환 API로 연결하는 오픈소스 AI 게이트웨이

스타
8,932
포크
1,424
열린 이슈
1,248
마지막 커밋
13시간 전

어떤 프로젝트인가요?

Bifrost는 애플리케이션과 OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure 같은 LLM 제공업체 사이에서 동작하는 AI 게이트웨이입니다. 애플리케이션은 하나의 OpenAI 호환 엔드포인트로 요청을 보내고, Bifrost는 설정된 제공업체나 모델로 요청을 라우팅합니다.

애플리케이션 코드에서 직접 처리하는 경우가 많은 안정성 및 비용 관련 작업도 맡습니다. 제공업체와 모델 간 자동 폴백, 여러 API 키를 이용한 로드 밸런싱, 유사한 응답을 대상으로 하는 시맨틱 캐싱을 지원합니다. 거버넌스 기능으로는 가상 키, 레이트 리밋, 팀과 고객을 위한 계층형 예산이 있으며, Prometheus 메트릭과 요청 로깅도 제공합니다.

Bifrost는 npx나 Docker로 실행할 수 있으며 설정 및 모니터링을 위한 웹 UI가 내장되어 있습니다. Go SDK로 애플리케이션에 임베드하거나, 기존 OpenAI, Anthropic 또는 GenAI SDK의 base URL을 변경해 드롭인 대체재로 사용할 수도 있습니다. 또한 모델에 외부 도구를 제공하는 MCP 게이트웨이로도 동작합니다.

핵심 기능

  • 01다양한 LLM 제공업체와 모델을 위한 단일 OpenAI 호환 API
  • 02제공업체와 API 키 간 자동 폴백 및 로드 밸런싱
  • 03비용과 지연 시간을 줄이는 유사 응답 시맨틱 캐싱
  • 04거버넌스를 위한 가상 키, 레이트 리밋 및 계층형 예산
  • 05Prometheus 메트릭, 분산 트레이싱 및 요청 로깅
  • 06모델에 외부 도구를 제공하는 MCP 게이트웨이 지원

활용 사례

  • LLM 제공업체 한 곳에 장애가 발생해도 애플리케이션을 계속 운영
  • 팀, 고객 또는 API 키별 LLM 지출 추적 및 한도 설정
  • base URL만 변경해 기존 OpenAI 또는 Anthropic SDK 앱을 다른 모델로 전환
  • 코딩 에이전트와 사내 AI 서비스의 모델 접근 및 도구 연결을 중앙에서 관리

빠른 시작

  1. 1

    npx로 Bifrost Gateway를 로컬에서 시작하세요

    npx -y @maximhq/bifrost
  2. 2

    또는 Docker로 실행하세요

    docker run -p 8080:8080 maximhq/bifrost
  3. 3

    내장 웹 인터페이스를 열어 설정하세요

    open http://localhost:8080
  4. 4

    게이트웨이를 통해 첫 API 호출을 해보세요

    curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'

사용 전 알아둘 점

  • 업스트림 LLM 제공업체에 실제로 연결하려면 제공업체의 API 키가 필요합니다.
  • 클러스터링, 가드레일, 적응형 로드 밸런싱과 같은 일부 엔터프라이즈 기능은 별도의 엔터프라이즈 플랜에서 제공됩니다.

토픽

자주 묻는 질문

bifrost은(는) 무엇인가요?
23개 이상의 LLM 제공업체를 하나의 OpenAI 호환 API로 연결하는 오픈소스 AI 게이트웨이 Bifrost는 애플리케이션과 OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure 같은 LLM 제공업체 사이에서 동작하는 AI 게이트웨이입니다. 애플리케이션은 하나의 OpenAI 호환 엔드포인트로 요청을 보내고, Bifrost는 설정된 제공업체나 모델로 요청을 라우팅합니다.
bifrost은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
bifrost은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
bifrost은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. bifrost의 마지막 커밋은 2026년 10월 19일입니다.
bifrost은(는) 어디에 사용할 수 있나요?
LLM 제공업체 한 곳에 장애가 발생해도 애플리케이션을 계속 운영 팀, 고객 또는 API 키별 LLM 지출 추적 및 한도 설정 base URL만 변경해 기존 OpenAI 또는 Anthropic SDK 앱을 다른 모델로 전환 코딩 에이전트와 사내 AI 서비스의 모델 접근 및 도구 연결을 중앙에서 관리
bifrost는 어떻게 설치하나요?
npx로 Bifrost Gateway를 로컬에서 시작하세요: npx -y @maximhq/bifrost 또는 Docker로 실행하세요: docker run -p 8080:8080 maximhq/bifrost 내장 웹 인터페이스를 열어 설정하세요: open http://localhost:8080 게이트웨이를 통해 첫 API 호출을 해보세요: curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'
bifrost은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/maximhq/bifrost

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트