mozilla-ai/otari

어떤 프로젝트인가요?

핵심 기능

• 0140개 이상의 제공업체를 위한 OpenAI 및 Anthropic 호환 엔드포인트를 제공합니다.
• 02사용자, 워크스페이스, 모델 범위로 제한된 폐기 가능한 가상 API 키를 발급합니다.
• 03요청 전달 전에 예산을 적용하고 이후 사용량을 기록합니다.
• 04장애 조치, 가중치 기반 분산, 학습 기반 라우팅 정책을 지원합니다.
• 05제공업체, 키, 예산, 사용량을 관리하는 웹 대시보드를 제공합니다.
• 06Docker Compose를 통해 SQLite 또는 PostgreSQL을 사용하는 독립 실행형으로 운영할 수 있습니다.

활용 사례

• 제공업체 키를 공유하지 않고 팀에 여러 LLM 제공업체를 위한 단일 내부 엔드포인트를 제공할 때.
• 사용자별 또는 프로젝트별 LLM 지출에 한도를 설정하고 추적할 때.
• 한 제공업체가 중단되더라도 요청이 성공하도록 모델 간 장애 조치를 추가할 때.
• base URL만 바꿔 OpenAI 클라이언트 애플리케이션을 다른 제공업체로 라우팅할 때.

빠른 시작

1. 1

   Docker로 임시 독립형 게이트웨이를 실행합니다

   docker run --rm -p 8000:8000 -e OTARI_MASTER_KEY=SET_A_MASTER_KEY -e OPENAI_API_KEY=YOUR_OPENAI_KEY -e OTARI_CONFIG_YAML=' default_pricing: true providers: openai: api_key: ${OPENAI_API_KEY} ' mzdotai/otari:latest otari serve
2. 2

   최초 실행 시 출력되는 bootstrap key로 채팅 요청을 보냅니다

   curl http://localhost:8000/api/v1/chat/completions -H "Authorization: Bearer tk-..." -H "Content-Type: application/json" -d '{"model": "openai:gpt-4o-mini", "messages": [{"role": "user", "content": "Say hello."}]}'

사용 전 알아둘 점

• !Docker 빠른 시작은 컨테이너 내부의 SQLite를 사용하며, 컨테이너가 중지되면 데이터가 삭제됩니다.
• !프로바이더를 호출하려면 본인의 프로바이더 API 키가 필요합니다.

토픽

자주 묻는 질문

otari은(는) 무엇인가요?

40개 이상의 제공업체를 하나의 엔드포인트로 연결하는 셀프 호스팅 OpenAI 호환 LLM 게이트웨이 Otari는 애플리케이션과 모델 제공업체 사이에서 요청을 중계합니다. 요청을 인증하고 제공업체 자격 증명을 확인하며, 요청을 전달하기 전에 예산을 점검하고 각 호출이 끝난 뒤 사용량을 기록합니다. 제공업체 호출에는 any-llm 라이브러리를 사용하므로, 게이트웨이가 업스트림 제공업체를 처리하는 동안 클라이언트 코드는 OpenAI 또는 Anthropic 스타일 API를 계속 사용할 수 있습니다.

otari은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

otari은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

otari은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. otari의 마지막 커밋은 2026년 10월 19일입니다.

otari은(는) 어디에 사용할 수 있나요?

제공업체 키를 공유하지 않고 팀에 여러 LLM 제공업체를 위한 단일 내부 엔드포인트를 제공할 때. 사용자별 또는 프로젝트별 LLM 지출에 한도를 설정하고 추적할 때. 한 제공업체가 중단되더라도 요청이 성공하도록 모델 간 장애 조치를 추가할 때. base URL만 바꿔 OpenAI 클라이언트 애플리케이션을 다른 제공업체로 라우팅할 때.

otari는 어떻게 설치하나요?

Docker로 임시 독립형 게이트웨이를 실행합니다: docker run --rm -p 8000:8000 -e OTARI_MASTER_KEY=SET_A_MASTER_KEY -e OPENAI_API_KEY=YOUR_OPENAI_KEY -e OTARI_CONFIG_YAML=' default_pricing: true providers: openai: api_key: ${OPENAI_API_KEY} ' mzdotai/otari:latest otari serve 최초 실행 시 출력되는 bootstrap key로 채팅 요청을 보냅니다: curl http://localhost:8000/api/v1/chat/completions -H "Authorization: Bearer tk-..." -H "Content-Type: application/json" -d '{"model": "openai:gpt-4o-mini", "messages": [{"role": "user", "content": "Say hello."}]}'

otari은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mozilla-ai/otari