Repolode
Enviar
deepjavalibrary

deepjavalibrary/djl-serving

Solução independente de serving de modelos, baseada em Java, que disponibiliza modelos de PyTorch, TensorFlow, ONNX e outros via endpoints HTTP.

Ver no GitHub
Estrelas
256
Forks
100
Issues abertas
16
Último commit
há 5 dias

O que é?

O DJL Serving é um sistema independente de serving de modelos, desenvolvido sobre a biblioteca de deep learning DJL para Java. Ele recebe um modelo, vários modelos ou um workflow e os disponibiliza para uso por meio de um endpoint HTTP. Por padrão, serve modelos TorchScript do PyTorch, bundles SavedModel do TensorFlow, modelos ONNX baseados em CPU e modelos em scripts Python. Também há extensões para XGBoost, LightGBM, Sentencepiece e fastText/BlazingText.

O servidor executa inferências multithread em uma única JVM e pode aumentar ou reduzir o número de threads de trabalho conforme a carga. Também oferece suporte a dynamic batching, ao carregamento de várias versões de um modelo por trás de um único endpoint e ao serving simultâneo de modelos de diferentes engines. APIs REST separadas para inferência e gerenciamento permitem operar os modelos em execução e adicioná-los, removê-los ou escalá-los em tempo de execução.

O DJL Serving pode ser instalado pelo Homebrew, por um pacote Debian ou por um arquivo zip no Windows, ou executado como um contêiner Docker. Plugins permitem adicionar extensões personalizadas.

Recursos principais

  • 01Serve modelos TorchScript do PyTorch, TensorFlow, ONNX e scripts Python por padrão.
  • 02Executa inferências multithread em uma única JVM, com escalonamento automático das threads de trabalho.
  • 03Oferece suporte a dynamic batching para aumentar o throughput.
  • 04Permite disponibilizar várias versões de um modelo em um endpoint e usar modelos de diferentes engines ao mesmo tempo.
  • 05Oferece APIs REST separadas para inferência e gerenciamento de modelos.
  • 06Pode ser estendido por meio de um sistema de plugins.

Casos de uso

  • Implantar modelos de deep learning treinados como serviços de inferência HTTP usando uma stack Java.
  • Disponibilizar vários modelos ou versões por trás de um único endpoint, com escalonamento em tempo de execução.
  • Hospedar scripts de modelos baseados em Python junto com modelos TorchScript ou ONNX.

Início rápido

  1. 1

    Instale no macOS com Homebrew

    brew install djl-serving
  2. 2

    Ou execute no Docker, disponibilizando-o na porta 8080

    docker run -itd -p 8080:8080 deepjavalibrary/djl-serving

Antes de usar

  • Modelos ONNX são compatíveis apenas com CPU.
  • Para usar modelos XGBoost, LightGBM, Sentencepiece e fastText, é preciso instalar extensões adicionais.
  • Por padrão, o servidor aceita conexões apenas de localhost; é necessário configurá-lo para permitir acesso remoto.

Tópicos

#deep-learning#model-serving#inference#java#pytorch#onnx#machine-learning-deployment#deployment#djl#serving

Perguntas frequentes

O que é djl-serving?
Solução independente de serving de modelos, baseada em Java, que disponibiliza modelos de PyTorch, TensorFlow, ONNX e outros via endpoints HTTP. O DJL Serving é um sistema independente de serving de modelos, desenvolvido sobre a biblioteca de deep learning DJL para Java. Ele recebe um modelo, vários modelos ou um workflow e os disponibiliza para uso por meio de um endpoint HTTP. Por padrão, serve modelos TorchScript do PyTorch, bundles SavedModel do TensorFlow, modelos ONNX baseados em CPU e modelos em scripts Python. Também há extensões para XGBoost, LightGBM, Sentencepiece e fastText/BlazingText.
djl-serving é gratuito? Qual é a licença?
djl-serving é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
djl-serving ainda é mantido?
Manutenção ativa. O último commit de djl-serving foi em 2 de nov. de 2026.
Para que posso usar djl-serving?
Implantar modelos de deep learning treinados como serviços de inferência HTTP usando uma stack Java. Disponibilizar vários modelos ou versões por trás de um único endpoint, com escalonamento em tempo de execução. Hospedar scripts de modelos baseados em Python junto com modelos TorchScript ou ONNX.
Como instalar djl-serving?
Instale no macOS com Homebrew: brew install djl-serving Ou execute no Docker, disponibilizando-o na porta 8080: docker run -itd -p 8080:8080 deepjavalibrary/djl-serving
Onde consigo djl-serving?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/deepjavalibrary/djl-serving

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados