deepjavalibrary/djl-serving

这是什么？

核心功能

• 01开箱即用支持 PyTorch、TensorFlow、ONNX 和 Python 脚本模型。
• 02在单个 JVM 内多线程推理，工作线程随负载自动伸缩。
• 03支持动态批处理以提升吞吐量。
• 04同一端点可加载模型的多个版本，并同时服务不同引擎的模型。
• 05提供推理与模型管理两套 REST 接口。
• 06支持插件机制扩展功能。

适用场景

• 在 Java 技术栈中将训练好的深度学习模型部署为 HTTP 推理服务。
• 在同一端点后服务多个模型或版本，并支持运行时扩缩容。
• 与 TorchScript 或 ONNX 模型一起托管基于 Python 的模型脚本。

快速上手

1. 1

   在 macOS 上通过 Homebrew 安装

   brew install djl-serving
2. 2

   或使用 Docker 运行，服务端口为 8080

   docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

使用前须知

• !ONNX 模型仅支持 CPU。
• !XGBoost、LightGBM、Sentencepiece 和 fastText 模型需要安装额外扩展。
• !默认情况下服务器只接受来自 localhost 的连接，若要远程访问需要进行配置。

标签

常见问题

djl-serving 是什么？

基于 Java 的独立模型推理服务，通过 HTTP 接口提供 PyTorch、TensorFlow、ONNX 等深度学习模型服务。 DJL Serving 是一个基于 Java 深度学习库 DJL 构建的独立模型推理服务。它可以加载单个模型、多个模型或工作流，并通过 HTTP 接口对外提供调用。开箱即用支持 PyTorch TorchScript、TensorFlow SavedModel、CPU 上的 ONNX 模型以及 Python 脚本模型，并可通过扩展支持 XGBoost、LightGBM、Sentencepiece 和 fastText/BlazingText。

djl-serving 可以免费使用吗？用的什么许可证？

djl-serving 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

djl-serving 还在维护吗？

活跃维护中。djl-serving 最近一次提交是在 2026年11月2日。

djl-serving 适合用来做什么？

在 Java 技术栈中将训练好的深度学习模型部署为 HTTP 推理服务。 在同一端点后服务多个模型或版本，并支持运行时扩缩容。 与 TorchScript 或 ONNX 模型一起托管基于 Python 的模型脚本。

djl-serving 怎么安装和运行？

在 macOS 上通过 Homebrew 安装: brew install djl-serving 或使用 Docker 运行，服务端口为 8080: docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

在哪里获取 djl-serving？

源代码和安装说明在 GitHub 上：https://github.com/deepjavalibrary/djl-serving