Repolode
tashfeenahmed

tashfeenahmed/freellmapi

自托管的 OpenAI 兼容网关,把多家服务商的免费 LLM 额度汇总到一个 /v1 接口后,并支持自动路由和故障转移。

可替代:OpenRouterLiteLLM

Star
38,952
Fork
5,249
未关闭 Issue
40
最近提交
7小时前

这是什么?

FreeLLMAPI 是一个本地运行的网关,把多家 LLM 服务商的免费额度汇总起来,通过统一的 OpenAI 兼容 /v1 接口对外提供服务。在控制台添加各服务商的 Key 后,任何 OpenAI SDK 或兼容客户端只需指向同一个地址即可调用。路由器会为每个请求选择可用模型,遇到限流或服务端错误时自动切换到下一个服务商。

服务商 Key 以加密形式存放在 SQLite 中,请求时才在内存里解密;应用会统计每个 Key 的请求数、Token 用量和速率限制,确保调用不超过免费额度。接口覆盖聊天、Embedding、图像、视频和语音,并兼容 Anthropic Messages、Gemini 及 Ollama 风格的接口,方便 Claude Code 等编程助手和命令行工具接入。项目基于 Node 20+,提供 Docker 镜像和桌面应用两种部署方式。

核心功能

  • 01通过单一 OpenAI 兼容 /v1 接口调用多家服务商的免费模型
  • 02遇到 429 或 5xx 错误时自动切换到下一个模型
  • 03按 Key 统计 RPM、RPD、TPM、TPD,避免超出免费额度
  • 04服务商 Key 使用 AES-256-GCM 加密存储
  • 05提供 Anthropic、Gemini 和 Ollama 兼容接口,便于编程助手接入
  • 06管理后台支持 Key 管理、Playground 和用量分析

适用场景

  • 在不付费的前提下,用多个 LLM 原型验证应用
  • 让 Claude Code、Codex CLI 或 Aider 调用一组免费模型
  • 搭建个人本地网关,混合使用云端免费额度和自部署模型
  • 对比不同服务商对同一 OpenAI 格式请求的响应表现

快速上手

  1. 1

    从发布页面下载桌面应用(macOS 或 Windows)

  2. 2

    按照安装指南中的 Docker Compose 说明进行自托管

使用前须知

  • 免费版安装要等模型进入实时付费订阅源 30 天后才能获得新模型,付费订阅为每年 19 美元。
  • 您需要自行从想使用的每个免费提供商获取并添加 API 密钥。

标签

常见问题

freellmapi 是什么?
自托管的 OpenAI 兼容网关,把多家服务商的免费 LLM 额度汇总到一个 /v1 接口后,并支持自动路由和故障转移。 FreeLLMAPI 是一个本地运行的网关,把多家 LLM 服务商的免费额度汇总起来,通过统一的 OpenAI 兼容 /v1 接口对外提供服务。在控制台添加各服务商的 Key 后,任何 OpenAI SDK 或兼容客户端只需指向同一个地址即可调用。路由器会为每个请求选择可用模型,遇到限流或服务端错误时自动切换到下一个服务商。
freellmapi 可以免费使用吗?用的什么许可证?
freellmapi 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
freellmapi 还在维护吗?
活跃维护中。freellmapi 最近一次提交是在 2026年10月21日。
freellmapi 适合用来做什么?
在不付费的前提下,用多个 LLM 原型验证应用 让 Claude Code、Codex CLI 或 Aider 调用一组免费模型 搭建个人本地网关,混合使用云端免费额度和自部署模型 对比不同服务商对同一 OpenAI 格式请求的响应表现
freellmapi 怎么安装和运行?
从发布页面下载桌面应用(macOS 或 Windows) 按照安装指南中的 Docker Compose 说明进行自托管
在哪里获取 freellmapi?
源代码和安装说明在 GitHub 上:https://github.com/tashfeenahmed/freellmapi

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目