自托管的 AI 网关,将多家上游模型服务统一为 OpenAI、Claude、Gemini 兼容接口,并提供路由、密钥、配额与用量统计。
tashfeenahmed/freellmapi
自托管的 OpenAI 兼容网关,把多家服务商的免费 LLM 额度汇总到一个 /v1 接口后,并支持自动路由和故障转移。
- Star
- 38,952
- Fork
- 5,249
- 未关闭 Issue
- 40
- 最近提交
- 7小时前
这是什么?
FreeLLMAPI 是一个本地运行的网关,把多家 LLM 服务商的免费额度汇总起来,通过统一的 OpenAI 兼容 /v1 接口对外提供服务。在控制台添加各服务商的 Key 后,任何 OpenAI SDK 或兼容客户端只需指向同一个地址即可调用。路由器会为每个请求选择可用模型,遇到限流或服务端错误时自动切换到下一个服务商。
服务商 Key 以加密形式存放在 SQLite 中,请求时才在内存里解密;应用会统计每个 Key 的请求数、Token 用量和速率限制,确保调用不超过免费额度。接口覆盖聊天、Embedding、图像、视频和语音,并兼容 Anthropic Messages、Gemini 及 Ollama 风格的接口,方便 Claude Code 等编程助手和命令行工具接入。项目基于 Node 20+,提供 Docker 镜像和桌面应用两种部署方式。
核心功能
- 01通过单一 OpenAI 兼容 /v1 接口调用多家服务商的免费模型
- 02遇到 429 或 5xx 错误时自动切换到下一个模型
- 03按 Key 统计 RPM、RPD、TPM、TPD,避免超出免费额度
- 04服务商 Key 使用 AES-256-GCM 加密存储
- 05提供 Anthropic、Gemini 和 Ollama 兼容接口,便于编程助手接入
- 06管理后台支持 Key 管理、Playground 和用量分析
适用场景
- 在不付费的前提下,用多个 LLM 原型验证应用
- 让 Claude Code、Codex CLI 或 Aider 调用一组免费模型
- 搭建个人本地网关,混合使用云端免费额度和自部署模型
- 对比不同服务商对同一 OpenAI 格式请求的响应表现
快速上手
- 1
从发布页面下载桌面应用(macOS 或 Windows)
- 2
按照安装指南中的 Docker Compose 说明进行自托管
使用前须知
- 免费版安装要等模型进入实时付费订阅源 30 天后才能获得新模型,付费订阅为每年 19 美元。
- 您需要自行从想使用的每个免费提供商获取并添加 API 密钥。
标签
常见问题
- freellmapi 是什么?
- 自托管的 OpenAI 兼容网关,把多家服务商的免费 LLM 额度汇总到一个 /v1 接口后,并支持自动路由和故障转移。 FreeLLMAPI 是一个本地运行的网关,把多家 LLM 服务商的免费额度汇总起来,通过统一的 OpenAI 兼容 /v1 接口对外提供服务。在控制台添加各服务商的 Key 后,任何 OpenAI SDK 或兼容客户端只需指向同一个地址即可调用。路由器会为每个请求选择可用模型,遇到限流或服务端错误时自动切换到下一个服务商。
- freellmapi 可以免费使用吗?用的什么许可证?
- freellmapi 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- freellmapi 还在维护吗?
- 活跃维护中。freellmapi 最近一次提交是在 2026年10月21日。
- freellmapi 适合用来做什么?
- 在不付费的前提下,用多个 LLM 原型验证应用 让 Claude Code、Codex CLI 或 Aider 调用一组免费模型 搭建个人本地网关,混合使用云端免费额度和自部署模型 对比不同服务商对同一 OpenAI 格式请求的响应表现
- freellmapi 怎么安装和运行?
- 从发布页面下载桌面应用(macOS 或 Windows) 按照安装指南中的 Docker Compose 说明进行自托管
- 在哪里获取 freellmapi?
- 源代码和安装说明在 GitHub 上:https://github.com/tashfeenahmed/freellmapi
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 SvelteKit 的大模型聊天界面,可对接任意 OpenAI 兼容接口,也是 HuggingChat 的底层代码。
开源跨平台 AI 聊天客户端,支持 Web、桌面和移动端,可接入 OpenAI、Claude、Gemini、DeepSeek 等模型。
开源、可自托管的 AI 操作系统,智能体在隔离的云端沙箱中工作,成果经人工审批的变更请求合入。
基于 WebGPU 在浏览器内直接运行大语言模型推理的引擎,提供 OpenAI 兼容接口。