intentee/paddler

这是什么？

核心功能

• 01内置 llama.cpp 推理引擎，支持文本生成与向量嵌入
• 02面向 LLM 的负载均衡，在 agent 与推理槽位之间分配请求
• 03agent 可动态加入，便于与自动扩缩容工具集成
• 04请求缓冲机制，支持从零台主机开始扩展
• 05支持动态切换模型
• 06内置 Web 管理面板，用于监控、配置和测试
• 07提供可观测性指标

适用场景

• 在产品中运行 LLM 推理和向量嵌入，同时将数据保留在自有服务器上
• 为有严格隐私或合规要求的团队提供模型服务
• 把办公室里闲置的 GPU 或 PC 组成本地 AI 集群
• 用自主管理的算力替代按 token 计费、费用不可控的 API

快速上手

1. 1

   从 GitHub Releases 页面获取 paddler 二进制文件

2. 2

   启动负载均衡器（balancer）

   paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062
3. 3

   启动一个带 4 个槽位的代理（agent）

   paddler agent --management-addr 127.0.0.1:8060 --slots 4

使用前须知

• !从源码构建需要 Rust 1.88.0 或更高版本。
• !桌面应用目前仍处于测试版。
• !运行模型需要自备计算资源，例如 CPU 或 GPU 主机。

收录于专题

标签

常见问题

paddler 是什么？

开源的 LLM 负载均衡与推理服务平台，基于 llama.cpp 在自有 CPU/GPU 集群上部署和扩展大模型。 Paddler 是一个可自托管的 LLM 负载均衡与推理服务平台。它通过内置的 llama.cpp 引擎，在自有基础设施上运行文本推理、向量嵌入和多模态模型，让应用减少对闭源模型 API 和按 token 计费的依赖。

paddler 可以免费使用吗？用的什么许可证？

paddler 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

paddler 还在维护吗？

活跃维护中。paddler 最近一次提交是在 2026年11月6日。

paddler 适合用来做什么？

在产品中运行 LLM 推理和向量嵌入，同时将数据保留在自有服务器上 为有严格隐私或合规要求的团队提供模型服务 把办公室里闲置的 GPU 或 PC 组成本地 AI 集群 用自主管理的算力替代按 token 计费、费用不可控的 API

paddler 怎么安装和运行？

从 GitHub Releases 页面获取 paddler 二进制文件 启动负载均衡器（balancer）: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 启动一个带 4 个槽位的代理（agent）: paddler agent --management-addr 127.0.0.1:8060 --slots 4

在哪里获取 paddler？

源代码和安装说明在 GitHub 上：https://github.com/intentee/paddler