intentee/paddler

Что это?

Ключевые возможности

• 01Встроенный движок инференса llama.cpp для генерации токенов и создания эмбеддингов
• 02Балансировка нагрузки с учётом особенностей LLM между агентами и слотами
• 03Динамическая регистрация агентов для интеграции с автоскейлингом
• 04Буферизация запросов для масштабирования с нуля хостов
• 05Динамическая замена моделей
• 06Веб-панель администратора для мониторинга, настройки и тестирования
• 07Метрики наблюдаемости

Сценарии использования

• Запуск инференса LLM и создания эмбеддингов внутри продукта с хранением данных на собственных серверах
• Предоставление моделей командам со строгими требованиями к конфиденциальности или соответствию нормативам
• Объединение свободных GPU или ПК в офисе в локальный AI-кластер
• Замена непредсказуемых расходов на оплату API за каждый токен самостоятельно управляемыми вычислительными ресурсами

Быстрый старт

1. 1

   Скачайте бинарный файл paddler со страницы релизов на GitHub

2. 2

   Запустите balancer

   paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062
3. 3

   Запустите агента с 4 слотами

   paddler agent --management-addr 127.0.0.1:8060 --slots 4

Что важно знать

• !Для сборки из исходного кода требуется Rust MSRV 1.88.0 или новее.
• !Настольное приложение пока находится в бета-версии.
• !Для запуска моделей нужна собственная вычислительная инфраструктура, например хосты с CPU или GPU.

В подборках

Темы

Частые вопросы

Что такое paddler?

Open-source платформа для балансировки нагрузки и serving LLM, которая запускает инференс на ваших CPU или GPU с помощью llama.cpp. Paddler — self-hosted платформа для балансировки нагрузки и serving LLM. Она запускает инференс, создание эмбеддингов и мультимодальные модели на вашей инфраструктуре с помощью встроенного движка llama.cpp, поэтому приложениям не приходится так сильно зависеть от закрытых API моделей и оплаты за каждый токен.

paddler можно использовать бесплатно? Какая у него лицензия?

paddler распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

paddler всё ещё поддерживается?

Активно поддерживается. Последний коммит в paddler — 30 окт. 2026 г..

Для чего можно использовать paddler?

Запуск инференса LLM и создания эмбеддингов внутри продукта с хранением данных на собственных серверах Предоставление моделей командам со строгими требованиями к конфиденциальности или соответствию нормативам Объединение свободных GPU или ПК в офисе в локальный AI-кластер Замена непредсказуемых расходов на оплату API за каждый токен самостоятельно управляемыми вычислительными ресурсами

Как установить paddler?

Скачайте бинарный файл paddler со страницы релизов на GitHub Запустите balancer: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 Запустите агента с 4 слотами: paddler agent --management-addr 127.0.0.1:8060 --slots 4

Где скачать paddler?

Исходный код и инструкции по установке — на GitHub: https://github.com/intentee/paddler