deepjavalibrary/djl-serving

Что это?

Ключевые возможности

• 01Из коробки обслуживает модели PyTorch, TensorFlow, ONNX и Python-скрипты.
• 02Выполняет многопоточную инференцию в одной JVM с автоматическим масштабированием рабочих потоков.
• 03Поддерживает динамическую пакетную обработку для повышения пропускной способности.
• 04Позволяет размещать несколько версий модели за одним эндпоинтом и одновременно обслуживать модели на разных движках.
• 05Предоставляет отдельные REST API для инференции и управления моделями.
• 06Расширяется с помощью системы плагинов.

Сценарии использования

• Развёртывание обученных моделей глубокого обучения в виде HTTP-сервисов инференции на Java-стеке.
• Обслуживание нескольких моделей или их версий за одним эндпоинтом с масштабированием во время выполнения.
• Размещение Python-скриптов моделей наряду с моделями TorchScript или ONNX.

Быстрый старт

1. 1

   Установите на macOS с помощью Homebrew

   brew install djl-serving
2. 2

   Или запустите в Docker и предоставьте доступ через порт 8080

   docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

Что важно знать

• !Модели ONNX поддерживаются только на CPU.
• !Для работы с моделями XGBoost, LightGBM, Sentencepiece и fastText необходимо установить дополнительные расширения.
• !По умолчанию сервер принимает подключения только с localhost; для удалённого доступа требуется настройка.

Темы

Частые вопросы

Что такое djl-serving?

Автономная система на Java для публикации моделей PyTorch, TensorFlow, ONNX и других моделей глубокого обучения через HTTP-эндпоинты. DJL Serving — автономная система для обслуживания моделей, построенная на библиотеке глубокого обучения DJL для Java. Она принимает одну или несколько моделей либо workflow и предоставляет к ним доступ через HTTP-эндпоинт. Из коробки система обслуживает модели PyTorch TorchScript, пакеты TensorFlow SavedModel, модели ONNX для CPU и модели в виде Python-скриптов; доступны расширения для XGBoost, LightGBM, Sentencepiece и fastText/BlazingText.

djl-serving можно использовать бесплатно? Какая у него лицензия?

djl-serving распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

djl-serving всё ещё поддерживается?

Активно поддерживается. Последний коммит в djl-serving — 2 нояб. 2026 г..

Для чего можно использовать djl-serving?

Развёртывание обученных моделей глубокого обучения в виде HTTP-сервисов инференции на Java-стеке. Обслуживание нескольких моделей или их версий за одним эндпоинтом с масштабированием во время выполнения. Размещение Python-скриптов моделей наряду с моделями TorchScript или ONNX.

Как установить djl-serving?

Установите на macOS с помощью Homebrew: brew install djl-serving Или запустите в Docker и предоставьте доступ через порт 8080: docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

Где скачать djl-serving?

Исходный код и инструкции по установке — на GitHub: https://github.com/deepjavalibrary/djl-serving