Repolode
Enviar
ferro-labs

ferro-labs/ai-gateway

Gateway de código aberto em Go que roteia solicitações de LLMs entre 30 provedores por uma única API compatível com a OpenAI, com cache, proteções e controle de custos.

Alternativa open source a:LiteLLM

Ver no GitHubSite
Estrelas
280
Forks
40
Issues abertas
67
Último commit
há 5 dias

O que é?

O Ferro Labs AI Gateway é um proxy auto-hospedado que fica entre sua aplicação e provedores de LLM, como OpenAI, Anthropic e AWS Bedrock. Os clientes enviam solicitações no formato padrão da OpenAI para um único endpoint, e o gateway as encaminha ao provedor configurado usando estratégias de roteamento como fallback, balanceamento de carga, menor latência, otimização de custos e testes A/B.

O gateway é distribuído como um único binário estático em Go, sem necessidade de serviços externos. Ele inclui plugins integrados para filtragem de palavras, redação de PII, varredura de segredos, detecção de prompt injection, cache de respostas, limitação de taxa e orçamentos por chave. Também pode se conectar a servidores de ferramentas MCP e executar o ciclo de chamadas de ferramentas. O rastreamento do OpenTelemetry e as métricas do Prometheus ficam disponíveis quando ativados, e um painel web vem integrado aos binários de release.

A configuração é feita em um único arquivo YAML ou JSON, e a CLI oferece os comandos init, validate e doctor. As opções de implantação incluem Docker, Helm no Kubernetes, Railway e Render, com armazenamento em SQLite ou PostgreSQL.

Recursos principais

  • 01Roteia solicitações para 30 provedores de LLM por uma única API compatível com a OpenAI.
  • 02Oferece oito estratégias de roteamento, incluindo fallback, balanceamento de carga e testes A/B.
  • 03Inclui proteções integradas para redação de PII, varredura de segredos e detecção de prompt injection.
  • 04Oferece cache de respostas, limitação de taxa e controle de orçamento por chave.
  • 05Conecta-se a servidores de ferramentas MCP por stdio e Streamable HTTP.
  • 06Disponibiliza rastreamento do OpenTelemetry e métricas do Prometheus, desativados até serem habilitados.

Casos de uso

  • Oferecer às equipes internas um único endpoint para vários provedores de LLM, com failover entre eles.
  • Aplicar redação de PII ou filtros de conteúdo antes que os prompts cheguem às APIs externas de modelos.
  • Acompanhar os gastos com tokens e definir orçamentos por chave em diferentes aplicações.
  • Executar um gateway auto-hospedado no Kubernetes ou Docker usando clientes existentes do OpenAI SDK.

Início rápido

  1. 1

    Instale o CLI do ferrogw com npm

    npm install -g ferrogw
  2. 2

    Configure a chave de API do provedor upstream (neste caso, OpenAI)

    export OPENAI_API_KEY=sk-your-key
  3. 3

    Execute ferrogw init para criar config.yaml e exibir a chave mestra; salve-a, pois ela é exibida apenas uma vez

    ferrogw init
  4. 4

    Inicie o servidor na porta 8080 (configure GATEWAY_CONFIG e MASTER_KEY primeiro, conforme descrito no README)

    ferrogw serve

Antes de usar

  • Para rotear solicitações, é necessária pelo menos uma chave de API de provedor upstream, como OPENAI_API_KEY.

Em coleções

Servidores MCPPlataformas de OpenTelemetry e observabilidade

Tópicos

#llm-gateway#openai-compatible#llm-proxy#guardrails#semantic-cache#mcp#observability#golang#ai-gateway#ai-infrastructure

Perguntas frequentes

O que é ai-gateway?
Gateway de código aberto em Go que roteia solicitações de LLMs entre 30 provedores por uma única API compatível com a OpenAI, com cache, proteções e controle de custos. O Ferro Labs AI Gateway é um proxy auto-hospedado que fica entre sua aplicação e provedores de LLM, como OpenAI, Anthropic e AWS Bedrock. Os clientes enviam solicitações no formato padrão da OpenAI para um único endpoint, e o gateway as encaminha ao provedor configurado usando estratégias de roteamento como fallback, balanceamento de carga, menor latência, otimização de custos e testes A/B.
ai-gateway é gratuito? Qual é a licença?
ai-gateway é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
ai-gateway ainda é mantido?
Manutenção ativa. O último commit de ai-gateway foi em 2 de nov. de 2026.
Para que posso usar ai-gateway?
Oferecer às equipes internas um único endpoint para vários provedores de LLM, com failover entre eles. Aplicar redação de PII ou filtros de conteúdo antes que os prompts cheguem às APIs externas de modelos. Acompanhar os gastos com tokens e definir orçamentos por chave em diferentes aplicações. Executar um gateway auto-hospedado no Kubernetes ou Docker usando clientes existentes do OpenAI SDK.
Como instalar ai-gateway?
Instale o CLI do ferrogw com npm: npm install -g ferrogw Configure a chave de API do provedor upstream (neste caso, OpenAI): export OPENAI_API_KEY=sk-your-key Execute ferrogw init para criar config.yaml e exibir a chave mestra; salve-a, pois ela é exibida apenas uma vez: ferrogw init Inicie o servidor na porta 8080 (configure GATEWAY_CONFIG e MASTER_KEY primeiro, conforme descrito no README): ferrogw serve
Onde consigo ai-gateway?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ferro-labs/ai-gateway

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados