mozilla-ai/otari

O que é?

Recursos principais

• 01Disponibiliza um endpoint compatível com OpenAI e Anthropic para mais de 40 provedores.
• 02Emite chaves de API virtuais revogáveis, com escopo definido por usuário, workspace e modelo.
• 03Aplica limites de gastos antes do envio e registra o uso depois.
• 04Oferece suporte a políticas de roteamento com failover, distribuição ponderada e seleção baseada em aprendizado.
• 05Oferece um painel web para gerenciar provedores, chaves, limites de gastos e uso.
• 06Pode ser executado de forma independente com SQLite ou PostgreSQL via Docker Compose.

Casos de uso

• Oferecer a uma equipe um único endpoint interno para vários provedores de LLM, sem compartilhar chaves dos provedores.
• Definir limites e acompanhar os gastos com LLM por usuário ou projeto.
• Adicionar failover entre modelos para que as solicitações sejam atendidas quando um provedor estiver fora do ar.
• Direcionar aplicações que usam clientes OpenAI para outros provedores alterando apenas a URL base.

Início rápido

1. 1

   Execute um gateway independente e temporário com Docker

   docker run --rm -p 8000:8000 -e OTARI_MASTER_KEY=SET_A_MASTER_KEY -e OPENAI_API_KEY=YOUR_OPENAI_KEY -e OTARI_CONFIG_YAML=' default_pricing: true providers: openai: api_key: ${OPENAI_API_KEY} ' mzdotai/otari:latest otari serve
2. 2

   Envie uma solicitação de chat usando a bootstrap key exibida na primeira execução

   curl http://localhost:8000/api/v1/chat/completions -H "Authorization: Bearer tk-..." -H "Content-Type: application/json" -d '{"model": "openai:gpt-4o-mini", "messages": [{"role": "user", "content": "Say hello."}]}'

Antes de usar

• !O início rápido com Docker usa SQLite dentro do contêiner, e os dados são excluídos quando ele é encerrado.
• !As chamadas aos provedores exigem suas próprias chaves de API.

Tópicos

Perguntas frequentes

O que é otari?

Gateway de LLM auto-hospedado e compatível com OpenAI, que encaminha solicitações para mais de 40 provedores por um único endpoint, com chaves virtuais, limites de gastos e acompanhamento de uso. O Otari fica entre suas aplicações e os provedores de modelos. Ele autentica as solicitações, resolve as credenciais dos provedores, verifica os limites de gastos antes do envio e registra o uso após cada chamada. As chamadas aos provedores são feitas pela biblioteca any-llm, permitindo que o código cliente continue usando APIs no estilo OpenAI ou Anthropic enquanto o gateway cuida do provedor upstream.

otari é gratuito? Qual é a licença?

otari é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

otari ainda é mantido?

Manutenção ativa. O último commit de otari foi em 19 de out. de 2026.

Para que posso usar otari?

Oferecer a uma equipe um único endpoint interno para vários provedores de LLM, sem compartilhar chaves dos provedores. Definir limites e acompanhar os gastos com LLM por usuário ou projeto. Adicionar failover entre modelos para que as solicitações sejam atendidas quando um provedor estiver fora do ar. Direcionar aplicações que usam clientes OpenAI para outros provedores alterando apenas a URL base.

Como instalar otari?

Execute um gateway independente e temporário com Docker: docker run --rm -p 8000:8000 -e OTARI_MASTER_KEY=SET_A_MASTER_KEY -e OPENAI_API_KEY=YOUR_OPENAI_KEY -e OTARI_CONFIG_YAML=' default_pricing: true providers: openai: api_key: ${OPENAI_API_KEY} ' mzdotai/otari:latest otari serve Envie uma solicitação de chat usando a bootstrap key exibida na primeira execução: curl http://localhost:8000/api/v1/chat/completions -H "Authorization: Bearer tk-..." -H "Content-Type: application/json" -d '{"model": "openai:gpt-4o-mini", "messages": [{"role": "user", "content": "Say hello."}]}'

Onde consigo otari?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mozilla-ai/otari