Repolode
제출하기
respanai

respanai/respan-gateway

어떤 AI SDK에서든 단일 엔드포인트로 여러 LLM 업체를 이용하고, MCP 도구와 트래픽 제어, 요청 로깅을 제공하는 Rust 바이너리입니다.

대체할 수 있는 제품:OpenRouter

GitHub에서 보기웹사이트
스타
570
포크
86
열린 이슈
28
마지막 커밋
어제

어떤 프로젝트인가요?

Respan Gateway는 코드와 AI API 사이에서 요청을 중개합니다. 기존 OpenAI, Anthropic 또는 Gemini SDK의 엔드포인트를 Respan Gateway로 지정하면, 스트리밍, 도구, 이미지, 추론을 포함해 요청 형식을 변환하면서 설정된 모든 채팅 모델로 호출을 라우팅합니다.

채팅뿐 아니라 여러 업체의 실시간 음성, 이미지, 음성 합성, 전사, 임베딩, 동영상 API도 지원합니다. MCP 서버와 웹 검색, 브라우징, 코드 샌드박스 같은 내장 도구 업체도 연결할 수 있어, 클라이언트나 모델에 관계없이 일반 채팅 호출에서 해당 도구를 사용할 수 있습니다.

트래픽 처리 기능으로는 이름 지정 라우트, 폴백, 재시도, 최저가 또는 최고 속도 업체 선택, 헤지 요청이 있습니다. 실시간 로그에 호출별 비용, 지연 시간, 토큰 수가 기록되며, 트레이스를 Respan으로 보낼 수도 있습니다. 설정은 단일 TOML 파일로 관리하며, Python 프로세스 내에서 실행하거나 Rust 서비스에 임베드할 수도 있습니다.

핵심 기능

  • 01OpenAI Chat, OpenAI Responses, Anthropic Messages 및 Gemini API 요청을 받아 업체 간 형식을 변환합니다.
  • 02여러 업체의 실시간 음성, 이미지, 음성 합성, 전사, 임베딩, 동영상을 지원합니다.
  • 03MCP 서버와 내장 도구 업체를 연결해 어떤 모델이든 채팅 요청에서 도구를 호출할 수 있습니다.
  • 04이름 지정 라우트, 폴백, 재시도, 최저가 또는 최고 속도 업체 선택, 헤지 요청을 제공합니다.
  • 05모든 호출의 비용, 지연 시간, 토큰 수를 기록하고 트레이스를 Respan으로 보낼 수 있습니다.
  • 06독립 실행형 서버, 프로세스 내 Python 라이브러리 또는 임베드 가능한 Rust 컴포넌트로 실행할 수 있습니다.

활용 사례

  • SDK 코드를 변경하지 않고 기존 앱에서 LLM 업체를 전환합니다.
  • 폴백과 재시도를 추가해 모델 업체가 느리거나 장애가 발생해도 요청이 실패하지 않도록 합니다.
  • MCP를 통해 모든 모델에 웹 검색, 브라우징 또는 코드 실행 도구를 제공합니다.
  • 단일 요청 로그에서 여러 AI 업체의 비용과 지연 시간을 추적합니다.

빠른 시작

  1. 1

    pip으로 게이트웨이를 설치합니다

    pip install respan-gateway
  2. 2

    벤더 API 키를 설정하고 게이트웨이를 실행합니다

    export OPENAI_API_KEY=sk-... respan-gateway
  3. 3

    SDK가 http://localhost:8080을 가리키도록 설정하고 원하는 모델을 호출합니다

사용 전 알아둘 점

  • README의 성능 수치는 프로젝트 자체 벤치마크이며, 독립적으로 검증되지 않았습니다.
  • 루프백이 아닌 주소에서 서비스를 제공하려면 클라이언트 키가 필요하므로, 공개 배포에는 설정 파일이 필요합니다.
  • 프로젝트는 아직 초기 단계이고 스타가 199개이므로, 생태계와 커뮤니티 지원이 제한적입니다.

포함된 컬렉션

Claude Code 도구·스킬·플러그인오픈소스 AI 에이전트 프레임워크와 앱MCP 서버OpenTelemetry 및 옵저버빌리티 플랫폼

토픽

#llm-gateway#llm#ai-gateway#mcp#openai-compatible#rust#observability#llm-routing#ai-agents#anthropic

자주 묻는 질문

respan-gateway은(는) 무엇인가요?
어떤 AI SDK에서든 단일 엔드포인트로 여러 LLM 업체를 이용하고, MCP 도구와 트래픽 제어, 요청 로깅을 제공하는 Rust 바이너리입니다. Respan Gateway는 코드와 AI API 사이에서 요청을 중개합니다. 기존 OpenAI, Anthropic 또는 Gemini SDK의 엔드포인트를 Respan Gateway로 지정하면, 스트리밍, 도구, 이미지, 추론을 포함해 요청 형식을 변환하면서 설정된 모든 채팅 모델로 호출을 라우팅합니다.
respan-gateway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
respan-gateway은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
respan-gateway은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. respan-gateway의 마지막 커밋은 2026년 11월 5일입니다.
respan-gateway은(는) 어디에 사용할 수 있나요?
SDK 코드를 변경하지 않고 기존 앱에서 LLM 업체를 전환합니다. 폴백과 재시도를 추가해 모델 업체가 느리거나 장애가 발생해도 요청이 실패하지 않도록 합니다. MCP를 통해 모든 모델에 웹 검색, 브라우징 또는 코드 실행 도구를 제공합니다. 단일 요청 로그에서 여러 AI 업체의 비용과 지연 시간을 추적합니다.
respan-gateway는 어떻게 설치하나요?
pip으로 게이트웨이를 설치합니다: pip install respan-gateway 벤더 API 키를 설정하고 게이트웨이를 실행합니다: export OPENAI_API_KEY=sk-... respan-gateway SDK가 http://localhost:8080을 가리키도록 설정하고 원하는 모델을 호출합니다
respan-gateway은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/respanai/respan-gateway

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트