theopenco/llmgateway

어떤 프로젝트인가요?

핵심 기능

• 01여러 제공업체로 요청을 라우팅하는 OpenAI 호환 API 제공
• 02제공업체별 API 키를 중앙에서 관리
• 03요청별 토큰 사용량, 비용, 응답 시간 추적
• 04모델별 성능과 비용 비교
• 05Docker로 직접 호스팅하거나 호스팅 서비스로 이용 가능

활용 사례

• 기존 OpenAI 기반 애플리케이션을 코드 변경을 최소화해 다른 제공업체로 전환
• 팀이나 여러 프로젝트의 LLM 지출과 토큰 사용량 추적
• 기본 모델을 선택하기 전에 모델별 비용과 지연 시간 비교
• 요청 데이터를 직접 통제할 수 있는 자체 호스팅 LLM 게이트웨이 운영

빠른 시작

1. 1

   의존성을 설치하고 개발 환경을 설정합니다(Docker 필요).

   pnpm i && pnpm run setup
2. 2

   개발 서버를 시작합니다.

   pnpm dev

사용 전 알아둘 점

• !핵심 코드는 네트워크 서비스에 의무가 적용되는 카피레프트 라이선스인 AGPLv3에 따라 제공됩니다.
• !ee/ 디렉터리의 상용 기능을 사용하려면 유료 Enterprise 라이선스가 필요합니다.
• !개발 환경 설정에는 데이터베이스 및 관련 구성 요소를 위한 Docker 서비스가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llmgateway은(는) 무엇인가요?

여러 제공업체에 걸쳐 LLM 요청을 라우팅하는 오픈소스 API 게이트웨이로, OpenAI 호환 인터페이스와 키 관리, 사용량 분석 기능을 제공합니다. LLM Gateway는 애플리케이션과 OpenAI, Anthropic, Google Vertex AI 같은 대규모 언어 모델 제공업체 사이에서 요청을 중계합니다. 애플리케이션은 하나의 엔드포인트로 요청을 보내고, 게이트웨이가 선택한 제공업체로 전달하므로 서비스마다 별도로 연동할 필요가 없습니다.

llmgateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llmgateway은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llmgateway은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llmgateway의 마지막 커밋은 2026년 11월 6일입니다.

llmgateway은(는) 어디에 사용할 수 있나요?

기존 OpenAI 기반 애플리케이션을 코드 변경을 최소화해 다른 제공업체로 전환 팀이나 여러 프로젝트의 LLM 지출과 토큰 사용량 추적 기본 모델을 선택하기 전에 모델별 비용과 지연 시간 비교 요청 데이터를 직접 통제할 수 있는 자체 호스팅 LLM 게이트웨이 운영

llmgateway는 어떻게 설치하나요?

의존성을 설치하고 개발 환경을 설정합니다(Docker 필요).: pnpm i && pnpm run setup 개발 서버를 시작합니다.: pnpm dev

llmgateway은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/theopenco/llmgateway