Gateway de LLM open source que encaminha solicitações de agentes e apps de IA para vários provedores de modelos por um único endpoint compatível com a OpenAI.
Alternativa open source a:OpenRouter
O Manifest LLM Gateway fica entre seus agentes ou apps de IA e os provedores de modelos que eles acessam. Você conecta chaves de API, assinaturas, modelos locais ou endpoints personalizados compatíveis com OpenAI/Anthropic, e todas as solicitações passam por um único endpoint compatível com a OpenAI. Definir "model": "auto" permite que o Manifest escolha o modelo para cada consulta, evitando que uma aplicação fique presa a um único provedor.
O gateway registra o conteúdo completo das solicitações e dos erros, acompanha os gastos por solicitação e oferece notificações e limites de custo. Se uma consulta falhar, ele pode recorrer a outro modelo. A lista de provedores inclui 35 integrações nativas, cobrindo APIs hospedadas como OpenAI, Anthropic, Google e DeepSeek, além de ambientes de execução locais como Ollama, LM Studio e llama.cpp.
Ele é distribuído como imagem Docker e pode ser implantado no Railway, Render, AWS, GCP, DigitalOcean, Fly.io e outras plataformas. As gravações das solicitações são armazenadas no PostgreSQL e em armazenamento compatível com S3 ou em disco persistente, dependendo da plataforma.
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Um roteador de LLM para agentes autônomos que escolhe localmente o modelo mais barato capaz de atender a cada solicitação, com pagamento via carteira cripto em USDC ou chave de API vinculada a cartão de crédito.
Roteador de LLM self-hosted e com código disponível que direciona prompts simples para modelos baratos ou locais e os complexos para modelos premium, por meio de um proxy compatível com OpenAI.
Gateway de LLM auto-hospedado e compatível com OpenAI, que encaminha solicitações para mais de 40 provedores por um único endpoint, com chaves virtuais, limites de gastos e acompanhamento de uso.
Um agente pessoal de IA self-hosted em que cada agente roda em seu próprio container de desktop Linux no seu computador, com qualquer modelo, um cofre criptografado e controle pelo Telegram.
AI Gateway de código aberto e SDK Python que acessam mais de 100 provedores de LLM por meio de uma única interface compatível com OpenAI.
Um gateway de IA self-hosted que oferece APIs compatíveis com OpenAI, Claude e Gemini para vários provedores de modelos, com roteamento, chaves, cotas e acompanhamento de custos.