Repolode
Enviar
respanai

respanai/respan-gateway

Um único binário Rust que oferece a qualquer SDK de IA um endpoint para acessar vários provedores de LLM, com ferramentas MCP, controle de tráfego e registro de requisições.

Alternativa open source a:OpenRouter

Ver no GitHubSite
Estrelas
570
Forks
86
Issues abertas
28
Último commit
ontem

O que é?

O Respan Gateway fica entre seu código e as APIs de IA. Você aponta um SDK existente de OpenAI, Anthropic ou Gemini para ele, e o gateway encaminha a chamada para qualquer modelo de chat configurado, convertendo formatos de requisição — inclusive streaming, ferramentas, imagens e raciocínio.

Além de chat, ele cobre APIs de voz em tempo real, imagens, fala, transcrição, embeddings e vídeo de vários provedores. Também pode conectar servidores MCP e provedores de ferramentas integradas, como busca na web, navegação e ambientes isolados para execução de código. Assim, uma chamada de chat simples pode usar essas ferramentas, independentemente do cliente ou do modelo.

O gerenciamento de tráfego inclui rotas nomeadas, fallback, tentativas novamente, seleção do provedor mais barato ou mais rápido e requisições hedged. Um log em tempo real registra o custo, a latência e os tokens de cada chamada, e os traces podem ser enviados ao Respan. A configuração fica em um único arquivo TOML, e o gateway também pode ser executado no mesmo processo a partir de Python ou incorporado a um serviço Rust.

Recursos principais

  • 01Aceita requisições da OpenAI Chat, OpenAI Responses, Anthropic Messages e Gemini API e as converte entre provedores.
  • 02Oferece suporte a voz em tempo real, imagens, fala, transcrição, embeddings e vídeo de vários provedores.
  • 03Conecta servidores MCP e provedores de ferramentas integradas para que qualquer modelo possa usá-los em requisições de chat.
  • 04Oferece rotas nomeadas, fallback, tentativas novamente, seleção do provedor mais barato ou mais rápido e requisições hedged.
  • 05Registra o custo, a latência e os tokens de cada chamada e pode enviar traces ao Respan.
  • 06Pode ser executado como servidor independente, biblioteca Python no mesmo processo ou componente Rust incorporável.

Casos de uso

  • Alternar um app existente entre provedores de LLM sem alterar o código do SDK.
  • Adicionar fallback e novas tentativas para que um provedor de modelos lento ou indisponível não interrompa as requisições.
  • Dar a todos os modelos acesso a ferramentas de busca na web, navegação ou execução de código via MCP.
  • Acompanhar custos e latência de vários provedores de IA em um único log de requisições.

Início rápido

  1. 1

    Instale o gateway com pip

    pip install respan-gateway
  2. 2

    Configure a chave de API do fornecedor e execute o gateway

    export OPENAI_API_KEY=sk-... respan-gateway
  3. 3

    Configure o SDK para apontar para http://localhost:8080 e chame qualquer modelo

Antes de usar

  • Os números de desempenho do README são resultados de benchmarks do próprio projeto, não verificados de forma independente.
  • São necessárias chaves de cliente para disponibilizar o serviço em endereços que não sejam de loopback; por isso, a implantação pública exige um arquivo de configuração.
  • O projeto é recente e tem 199 estrelas, então o suporte do ecossistema e da comunidade é limitado.

Em coleções

Ferramentas, skills e plugins para Claude CodeFrameworks e apps de agentes de IA open sourceServidores MCPPlataformas de OpenTelemetry e observabilidade

Tópicos

#llm-gateway#llm#ai-gateway#mcp#openai-compatible#rust#observability#llm-routing#ai-agents#anthropic

Perguntas frequentes

O que é respan-gateway?
Um único binário Rust que oferece a qualquer SDK de IA um endpoint para acessar vários provedores de LLM, com ferramentas MCP, controle de tráfego e registro de requisições. O Respan Gateway fica entre seu código e as APIs de IA. Você aponta um SDK existente de OpenAI, Anthropic ou Gemini para ele, e o gateway encaminha a chamada para qualquer modelo de chat configurado, convertendo formatos de requisição — inclusive streaming, ferramentas, imagens e raciocínio.
respan-gateway é gratuito? Qual é a licença?
respan-gateway é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
respan-gateway ainda é mantido?
Manutenção ativa. O último commit de respan-gateway foi em 5 de nov. de 2026.
Para que posso usar respan-gateway?
Alternar um app existente entre provedores de LLM sem alterar o código do SDK. Adicionar fallback e novas tentativas para que um provedor de modelos lento ou indisponível não interrompa as requisições. Dar a todos os modelos acesso a ferramentas de busca na web, navegação ou execução de código via MCP. Acompanhar custos e latência de vários provedores de IA em um único log de requisições.
Como instalar respan-gateway?
Instale o gateway com pip: pip install respan-gateway Configure a chave de API do fornecedor e execute o gateway: export OPENAI_API_KEY=sk-... respan-gateway Configure o SDK para apontar para http://localhost:8080 e chame qualquer modelo
Onde consigo respan-gateway?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/respanai/respan-gateway

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados