llm-gateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-gateway은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-gateway은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-gateway의 마지막 커밋은 2026년 10월 21일입니다.

llm-gateway은(는) 어디에 사용할 수 있나요?

애플리케이션 코드를 변경하지 않고 여러 제공업체에 AI 에이전트 요청 전달 팀이나 프로젝트의 LLM 지출 추적 및 상한 설정 클라우드 API와 로컬 Ollama 또는 llama.cpp 모델을 함께 사용하는 자체 호스팅 게이트웨이 운영 기록된 요청 및 오류 본문을 살펴 AI 에이전트 요청 디버깅

llm-gateway은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mnfst/llm-gateway

mnfst/llm-gateway

AI 에이전트와 앱의 요청을 하나의 OpenAI 호환 엔드포인트로 다양한 모델 제공업체에 전달하는 오픈소스 LLM 게이트웨이입니다.

대체할 수 있는 제품:OpenRouter

GitHub에서 보기 웹사이트

스타: 7,595
포크: 522
열린 이슈: 54
마지막 커밋: 어제

어떤 프로젝트인가요?

Manifest LLM Gateway는 AI 에이전트나 앱과 이들이 호출하는 모델 제공업체 사이에서 요청을 중계합니다. API 키, 구독, 로컬 모델 또는 사용자 지정 OpenAI/Anthropic 호환 엔드포인트를 연결하면 모든 요청이 하나의 OpenAI 호환 엔드포인트를 거칩니다. "model": "auto"를 보내면 Manifest가 각 쿼리에 사용할 모델을 선택하므로 애플리케이션이 한 제공업체에 종속되지 않습니다.

게이트웨이는 요청 및 오류 본문 전체를 기록하고, 요청별 사용 비용을 추적하며, 비용 알림과 한도 설정을 지원합니다. 쿼리가 실패하면 다른 모델로 대체할 수 있습니다. OpenAI, Anthropic, Google, DeepSeek 같은 호스팅 API와 Ollama, LM Studio, llama.cpp 같은 로컬 런타임을 포함해 35개의 기본 제공 연결을 지원합니다.

Docker 이미지로 제공되며 Railway, Render, AWS, GCP, DigitalOcean, Fly.io 등의 플랫폼에 배포할 수 있습니다. 요청 기록은 플랫폼에 따라 PostgreSQL과 S3 호환 스토리지 또는 영구 디스크에 저장됩니다.

핵심 기능

01API 키, 구독, 로컬 모델, 사용자 지정 제공업체를 위한 단일 OpenAI 호환 엔드포인트
02"model": "auto"를 통한 자동 모델 선택
03요청 및 오류 본문 전체 기록
04요청별 비용 추적, 지출 알림 및 한도 설정
05요청 실패 시 다른 모델로 대체

활용 사례

애플리케이션 코드를 변경하지 않고 여러 제공업체에 AI 에이전트 요청 전달
팀이나 프로젝트의 LLM 지출 추적 및 상한 설정
클라우드 API와 로컬 Ollama 또는 llama.cpp 모델을 함께 사용하는 자체 호스팅 게이트웨이 운영
기록된 요청 및 오류 본문을 살펴 AI 에이전트 요청 디버깅

토픽

#llm #gateway #openai-compatible #llm-router #cost-tracking #observability #self-hosted #docker #ai #ai-sdk

자주 묻는 질문

llm-gateway은(는) 무엇인가요?: AI 에이전트와 앱의 요청을 하나의 OpenAI 호환 엔드포인트로 다양한 모델 제공업체에 전달하는 오픈소스 LLM 게이트웨이입니다. Manifest LLM Gateway는 AI 에이전트나 앱과 이들이 호출하는 모델 제공업체 사이에서 요청을 중계합니다. API 키, 구독, 로컬 모델 또는 사용자 지정 OpenAI/Anthropic 호환 엔드포인트를 연결하면 모든 요청이 하나의 OpenAI 호환 엔드포인트를 거칩니다. "model": "auto"를 보내면 Manifest가 각 쿼리에 사용할 모델을 선택하므로 애플리케이션이 한 제공업체에 종속되지 않습니다.
llm-gateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: llm-gateway은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
llm-gateway은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. llm-gateway의 마지막 커밋은 2026년 10월 21일입니다.
llm-gateway은(는) 어디에 사용할 수 있나요?: 애플리케이션 코드를 변경하지 않고 여러 제공업체에 AI 에이전트 요청 전달 팀이나 프로젝트의 LLM 지출 추적 및 상한 설정 클라우드 API와 로컬 Ollama 또는 llama.cpp 모델을 함께 사용하는 자체 호스팅 게이트웨이 운영 기록된 요청 및 오류 본문을 살펴 AI 에이전트 요청 디버깅
llm-gateway은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mnfst/llm-gateway

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.