intentee/paddler

これは何？

主な機能

• 01トークン生成と埋め込み生成に対応する、組み込みのllama.cpp推論エンジン
• 02エージェントとスロットを対象とした、LLMを考慮したロードバランシング
• 03自動スケーリング連携のためのエージェント動的登録
• 04ホストがゼロの状態からのスケーリングに対応するリクエストバッファリング
• 05モデルの動的な切り替え
• 06監視、設定、テスト用のWeb管理パネル
• 07オブザーバビリティメトリクス

ユースケース

• データを自社サーバーに保持しながら、プロダクト内でLLM推論や埋め込み生成を実行する
• 厳格なプライバシー要件やコンプライアンス要件があるチームにモデルを提供する
• オフィス内の余剰GPUやPCを集約し、ローカルAIクラスターを構築する
• 予測しにくいトークン単位のAPI料金を、自社管理のキャパシティに置き換える

クイックスタート

1. 1

   GitHubのリリースページからpaddlerバイナリを入手します

2. 2

   balancerを起動します

   paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062
3. 3

   4スロットでエージェントを起動します

   paddler agent --management-addr 127.0.0.1:8060 --slots 4

使う前に知っておきたいこと

• !ソースからビルドするには、Rust MSRV 1.88.0以降が必要です。
• !デスクトップアプリケーションはまだベータ版です。
• !モデルの実行には、CPUまたはGPUホストなどの独自のコンピューティングインフラが必要です。

収録されている特集

トピック

よくある質問

paddler とは？

llama.cppを使い、自社のCPUまたはGPUインフラで推論を実行する、オープンソースのLLMロードバランサー兼サービングプラットフォーム。 Paddlerは、セルフホスト型のLLMロードバランサー兼サービングプラットフォームです。組み込みのllama.cppエンジンを通じて、自社のインフラ上で推論、埋め込み生成、マルチモーダルモデルを実行できるため、アプリケーションがクローズドソースのモデルAPIやトークン単位の料金に依存する度合いを減らせます。

paddler は無料で使えますか？ライセンスは？

paddler は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

paddler は今もメンテナンスされていますか？

活発にメンテナンス中。paddler の最終コミットは 2026年10月30日 です。

paddler は何に使えますか？

データを自社サーバーに保持しながら、プロダクト内でLLM推論や埋め込み生成を実行する 厳格なプライバシー要件やコンプライアンス要件があるチームにモデルを提供する オフィス内の余剰GPUやPCを集約し、ローカルAIクラスターを構築する 予測しにくいトークン単位のAPI料金を、自社管理のキャパシティに置き換える

paddler のインストール方法は？

GitHubのリリースページからpaddlerバイナリを入手します balancerを起動します: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 4スロットでエージェントを起動します: paddler agent --management-addr 127.0.0.1:8060 --slots 4

paddler はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/intentee/paddler