Repolode
제출하기
yym68686

yym68686/uni-api

여러 LLM 제공업체(OpenAI, Anthropic, Gemini, Vertex, Azure, AWS 등)를 로드 밸런싱과 함께 하나의 OpenAI 호환 API로 제공하는 셀프 호스팅 게이트웨이입니다.

대체할 수 있는 제품:OpenRouter

GitHub에서 보기웹사이트
스타
1,270
포크
158
열린 이슈
15
마지막 커밋
3일 전

어떤 프로젝트인가요?

uni-api는 대규모 언어 모델 API를 위한 셀프 호스팅 게이트웨이입니다. OpenAI, Anthropic, Gemini, Vertex, Azure, AWS, xAI, Cohere, Groq, Cloudflare, OpenRouter 등 여러 백엔드 제공업체를 OpenAI 형식으로 동작하는 단일 엔드포인트를 통해 호출할 수 있습니다. 제공업체와 API 키는 웹 콘솔이 아니라 YAML 설정 파일에서 정의하며, 모델 이름을 바꾸거나 그룹으로 묶어 클라이언트가 간단한 이름으로 사용할 수 있습니다.

게이트웨이는 여러 API 키와 제공업체를 운영할 때 필요한 기능도 처리합니다. 채널 간, 그리고 채널 내 키 간에 가중치 기반, 라운드 로빈 등 다양한 스케줄링 전략을 지원하고, 요청이 실패하면 다음 채널로 재시도하며, 문제가 발생한 채널은 지정한 시간 동안 대기 상태로 전환합니다. 와일드카드를 지원하는 키별 권한, 속도 제한, 모델별 타임아웃, 선택적 메시지 모더레이션도 같은 파일에서 설정합니다.

채팅 완성 외에도 responses, images, embeddings, 오디오 전사 및 음성 생성, moderations, 모델 목록 조회를 위한 OpenAI 스타일 경로를 제공합니다. Rust로 작성되었으며 Docker 이미지로 실행할 수 있고, 기본 데이터베이스로 SQLite를 사용하거나 PostgreSQL을 사용할 수 있습니다.

핵심 기능

  • 01OpenAI, Anthropic, Gemini, Vertex, Azure 등을 포함한 여러 제공업체를 하나의 OpenAI 호환 API로 제공합니다.
  • 02웹 프런트엔드 없이 YAML 파일만으로 전체 설정을 관리합니다.
  • 03채널 단위 가중치 기반 및 라운드 로빈 로드 밸런싱과 채널 내 키 단위 순환을 지원합니다.
  • 04실패 시 다음 채널로 자동 재시도하고 문제가 발생한 채널을 대기 상태로 전환합니다.
  • 05와일드카드를 지원하는 키별 모델 권한, 속도 제한, 모델별 타임아웃을 제공합니다.
  • 06채팅, responses, images, embeddings, 오디오, moderations, 모델 목록 조회 엔드포인트를 지원합니다.

활용 사례

  • 하나의 키로 여러 LLM 제공업체에 요청을 라우팅하는 개인 또는 소규모 팀용 API 엔드포인트 운영.
  • 여러 API 키나 계정에 트래픽을 분산해 속도 제한 오류 줄이기.
  • 기존 OpenAI 호환 클라이언트에서 코드 변경 없이 Claude 또는 Gemini 모델 사용.
  • 사용자별 키, 사용량 할당량, 모더레이션 기능을 갖춘 공유 게이트웨이 호스팅.

빠른 시작

  1. 1

    provider의 base_url과 API 키가 포함된 api.yaml 구성 파일을 작성합니다

  2. 2

    README에 설명된 대로 구성 파일을 api.yaml로 마운트하거나 CONFIG_URL로 지정해 uni-api를 시작합니다

사용 전 알아둘 점

  • uni-api를 시작하기 전에 YAML 구성 파일을 작성해야 합니다.

포함된 컬렉션

Claude Code 도구·스킬·플러그인셀프 호스팅 앱마이크로서비스 프레임워크와 서비스 인프라

토픽

#llm-gateway#openai-compatible#load-balancing#api-gateway#anthropic#gemini#self-hosted#rust#aws#azure

자주 묻는 질문

uni-api은(는) 무엇인가요?
여러 LLM 제공업체(OpenAI, Anthropic, Gemini, Vertex, Azure, AWS 등)를 로드 밸런싱과 함께 하나의 OpenAI 호환 API로 제공하는 셀프 호스팅 게이트웨이입니다. uni-api는 대규모 언어 모델 API를 위한 셀프 호스팅 게이트웨이입니다. OpenAI, Anthropic, Gemini, Vertex, Azure, AWS, xAI, Cohere, Groq, Cloudflare, OpenRouter 등 여러 백엔드 제공업체를 OpenAI 형식으로 동작하는 단일 엔드포인트를 통해 호출할 수 있습니다. 제공업체와 API 키는 웹 콘솔이 아니라 YAML 설정 파일에서 정의하며, 모델 이름을 바꾸거나 그룹으로 묶어 클라이언트가 간단한 이름으로 사용할 수 있습니다.
uni-api은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
uni-api은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
uni-api은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. uni-api의 마지막 커밋은 2026년 11월 4일입니다.
uni-api은(는) 어디에 사용할 수 있나요?
하나의 키로 여러 LLM 제공업체에 요청을 라우팅하는 개인 또는 소규모 팀용 API 엔드포인트 운영. 여러 API 키나 계정에 트래픽을 분산해 속도 제한 오류 줄이기. 기존 OpenAI 호환 클라이언트에서 코드 변경 없이 Claude 또는 Gemini 모델 사용. 사용자별 키, 사용량 할당량, 모더레이션 기능을 갖춘 공유 게이트웨이 호스팅.
uni-api는 어떻게 설치하나요?
provider의 base_url과 API 키가 포함된 api.yaml 구성 파일을 작성합니다 README에 설명된 대로 구성 파일을 api.yaml로 마운트하거나 CONFIG_URL로 지정해 uni-api를 시작합니다
uni-api은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/yym68686/uni-api

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트