Repolode
Enviar
deepjavalibrary

deepjavalibrary/djl-serving

Solución independiente de serving de modelos basada en Java que expone modelos de PyTorch, TensorFlow, ONNX y otros mediante endpoints HTTP.

Ver en GitHub
Estrellas
256
Forks
100
Issues abiertos
16
Último commit
hace 5 días

¿Qué es?

DJL Serving es un sistema independiente de serving de modelos basado en la biblioteca de deep learning para Java DJL. Permite invocar uno o varios modelos, o un workflow, a través de un endpoint HTTP. De fábrica, sirve modelos TorchScript de PyTorch, bundles SavedModel de TensorFlow, modelos ONNX basados en CPU y modelos en scripts de Python. También hay extensiones para XGBoost, LightGBM, Sentencepiece y fastText/BlazingText.

El servidor ejecuta inferencias multihilo en una única JVM y puede aumentar o reducir el número de hilos de trabajo según la carga. También admite batching dinámico, la carga de varias versiones de un modelo detrás de un mismo endpoint y el serving simultáneo de modelos de distintos motores. Las API REST independientes para inferencia y administración permiten gestionar los modelos en ejecución y agregarlos, eliminarlos o cambiar su escala durante la ejecución.

DJL Serving se puede instalar mediante Homebrew, un paquete Debian o un archivo zip en Windows, o ejecutar como un contenedor Docker. Los plugins permiten agregar extensiones personalizadas.

Funciones clave

  • 01Sirve de fábrica modelos de PyTorch, TensorFlow, ONNX y scripts de Python.
  • 02Ejecuta inferencias multihilo en una única JVM, con escalado automático de los hilos de trabajo.
  • 03Admite batching dinámico para mejorar el throughput.
  • 04Permite servir varias versiones de un modelo en un mismo endpoint y combinar modelos de distintos motores.
  • 05Ofrece API REST independientes para la inferencia y la administración de modelos.
  • 06Se puede ampliar mediante un sistema de plugins.

Casos de uso

  • Desplegar modelos de deep learning entrenados como servicios de inferencia HTTP desde un stack Java.
  • Servir varios modelos o versiones detrás de un mismo endpoint y ajustar su escala durante la ejecución.
  • Alojar scripts de modelos basados en Python junto con modelos TorchScript o ONNX.

Inicio rápido

  1. 1

    Instalar en macOS con Homebrew

    brew install djl-serving
  2. 2

    O ejecutarlo en Docker, disponible en el puerto 8080

    docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

Antes de usarlo

  • Los modelos ONNX solo son compatibles con CPU.
  • Para usar modelos XGBoost, LightGBM, Sentencepiece y fastText, hay que instalar extensiones adicionales.
  • De forma predeterminada, el servidor solo acepta conexiones desde localhost; para permitir el acceso remoto, hay que configurarlo.

Temas

#deep-learning#model-serving#inference#java#pytorch#onnx#machine-learning-deployment#deployment#djl#serving

Preguntas frecuentes

¿Qué es djl-serving?
Solución independiente de serving de modelos basada en Java que expone modelos de PyTorch, TensorFlow, ONNX y otros mediante endpoints HTTP. DJL Serving es un sistema independiente de serving de modelos basado en la biblioteca de deep learning para Java DJL. Permite invocar uno o varios modelos, o un workflow, a través de un endpoint HTTP. De fábrica, sirve modelos TorchScript de PyTorch, bundles SavedModel de TensorFlow, modelos ONNX basados en CPU y modelos en scripts de Python. También hay extensiones para XGBoost, LightGBM, Sentencepiece y fastText/BlazingText.
¿djl-serving es gratuito? ¿Qué licencia tiene?
djl-serving es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿djl-serving sigue mantenido?
Mantenimiento activo. El último commit de djl-serving fue el 2 nov 2026.
¿Para qué puedo usar djl-serving?
Desplegar modelos de deep learning entrenados como servicios de inferencia HTTP desde un stack Java. Servir varios modelos o versiones detrás de un mismo endpoint y ajustar su escala durante la ejecución. Alojar scripts de modelos basados en Python junto con modelos TorchScript o ONNX.
¿Cómo se instala djl-serving?
Instalar en macOS con Homebrew: brew install djl-serving O ejecutarlo en Docker, disponible en el puerto 8080: docker run -itd -p 8080:8080 deepjavalibrary/djl-serving
¿Dónde consigo djl-serving?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/deepjavalibrary/djl-serving

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados