Repolode
tashfeenahmed

tashfeenahmed/freellmapi

여러 LLM 제공업체의 무료 티어를 하나의 /v1 엔드포인트로 묶고 라우팅과 장애 조치를 제공하는 셀프 호스팅 OpenAI 호환 게이트웨이입니다.

대체할 수 있는 제품:OpenRouterLiteLLM

스타
38,952
포크
5,249
열린 이슈
40
마지막 커밋
8시간 전

어떤 프로젝트인가요?

FreeLLMAPI는 여러 LLM 제공업체의 무료 티어를 통합해 하나의 OpenAI 호환 /v1 엔드포인트로 제공하는 로컬 게이트웨이입니다. 대시보드에 제공업체 API 키를 추가하면 OpenAI SDK나 호환 클라이언트에서 단일 base URL로 요청을 보낼 수 있습니다. 라우터는 요청마다 사용 가능한 모델을 선택하고, 요청이 rate limit 또는 서버 오류로 실패하면 다음 제공업체로 전환합니다.

제공업체 API 키는 SQLite에 암호화해 저장하고 요청별로 메모리에서 복호화합니다. 또한 요청, 토큰, 키별 rate limit을 추적해 라우팅이 각 무료 티어의 한도를 넘지 않도록 합니다. 채팅, 임베딩, 이미지, 동영상, 음성 엔드포인트와 코딩 에이전트 및 CLI를 위한 Anthropic Messages, Gemini, Ollama 스타일 인터페이스도 지원합니다. 라우터는 Node 20+에서 실행되며 Docker 이미지와 데스크톱 앱으로 제공됩니다. 실시간 모델 카탈로그 피드를 추가하는 Premium 옵션도 있습니다.

핵심 기능

  • 01여러 무료 제공업체 키를 아우르는 단일 OpenAI 호환 /v1 엔드포인트
  • 02429 또는 5xx 응답이 발생하면 다음 모델로 자동 전환
  • 03무료 티어 한도 내에서 사용하도록 키별 RPM, RPD, TPM, TPD 추적
  • 04저장된 제공업체 키를 AES-256-GCM으로 암호화
  • 05코딩 에이전트용 Anthropic, Gemini, Ollama 호환 엔드포인트
  • 06키 관리, 플레이그라운드, 사용량 분석 기능을 갖춘 관리자 대시보드

활용 사례

  • API 사용료를 내지 않고 여러 LLM을 대상으로 앱 프로토타이핑하기
  • Claude Code, Codex CLI 또는 Aider가 무료 모델 풀을 사용하도록 설정하기
  • 클라우드 무료 티어와 셀프 호스팅 모델을 함께 사용하는 개인 로컬 게이트웨이 운영하기
  • 동일한 OpenAI 스타일 요청에 여러 제공업체가 어떻게 응답하는지 테스트하기

빠른 시작

  1. 1

    릴리스 페이지에서 데스크톱 앱을 다운로드하세요(macOS 또는 Windows).

  2. 2

    설치 가이드의 Docker Compose 안내에 따라 Docker로 직접 호스팅하세요.

사용 전 알아둘 점

  • 무료 설치에서는 새 모델이 실시간 프리미엄 피드에 공개된 후 30일이 지나야 이용할 수 있습니다. 프리미엄은 연 $19의 유료 플랜입니다.
  • 사용하려는 각 무료 제공업체의 API 키를 직접 발급받아 추가해야 합니다.

토픽

자주 묻는 질문

freellmapi은(는) 무엇인가요?
여러 LLM 제공업체의 무료 티어를 하나의 /v1 엔드포인트로 묶고 라우팅과 장애 조치를 제공하는 셀프 호스팅 OpenAI 호환 게이트웨이입니다. FreeLLMAPI는 여러 LLM 제공업체의 무료 티어를 통합해 하나의 OpenAI 호환 /v1 엔드포인트로 제공하는 로컬 게이트웨이입니다. 대시보드에 제공업체 API 키를 추가하면 OpenAI SDK나 호환 클라이언트에서 단일 base URL로 요청을 보낼 수 있습니다. 라우터는 요청마다 사용 가능한 모델을 선택하고, 요청이 rate limit 또는 서버 오류로 실패하면 다음 제공업체로 전환합니다.
freellmapi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
freellmapi은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
freellmapi은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. freellmapi의 마지막 커밋은 2026년 10월 21일입니다.
freellmapi은(는) 어디에 사용할 수 있나요?
API 사용료를 내지 않고 여러 LLM을 대상으로 앱 프로토타이핑하기 Claude Code, Codex CLI 또는 Aider가 무료 모델 풀을 사용하도록 설정하기 클라우드 무료 티어와 셀프 호스팅 모델을 함께 사용하는 개인 로컬 게이트웨이 운영하기 동일한 OpenAI 스타일 요청에 여러 제공업체가 어떻게 응답하는지 테스트하기
freellmapi는 어떻게 설치하나요?
릴리스 페이지에서 데스크톱 앱을 다운로드하세요(macOS 또는 Windows). 설치 가이드의 Docker Compose 안내에 따라 Docker로 직접 호스팅하세요.
freellmapi은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/tashfeenahmed/freellmapi

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트