Repolode
Enviar
tensorflow

tensorflow/serving

Sistema de alto desempenho para servir modelos de machine learning em produção, com endpoints de inferência versionados via gRPC e HTTP.

Ver no GitHubSite
Estrelas
6,365
Forks
2,204
Issues abertas
82
Último commit
há 23 horas

O que é?

O TensorFlow Serving cuida da etapa de inferência em machine learning: recebe modelos treinados, carrega-os, gerencia seu ciclo de vida e oferece aos clientes acesso versionado a eles. Funciona de imediato com TensorFlow SavedModels e pode ser estendido para servir outros tipos de modelos e dados, como embeddings, vocabulários e transformações de features.

O sistema pode hospedar vários modelos ou diversas versões de um mesmo modelo ao mesmo tempo. Novas versões podem ser lançadas sem alterar o código do cliente, o que possibilita canary releases e testes A/B de modelos experimentais. Um escalonador de batching agrupa solicitações individuais em lotes para execução conjunta na GPU, com controles de latência configuráveis.

O serviço oferece endpoints de inferência via gRPC e REST. É distribuído como uma imagem Docker, e a documentação aborda a implantação no Kubernetes, a configuração e a compilação a partir do código-fonte.

Recursos principais

  • 01Serve vários modelos ou várias versões de um modelo ao mesmo tempo
  • 02Oferece endpoints de inferência via gRPC e HTTP/REST
  • 03Permite implantar novas versões de modelos sem alterar o código do cliente
  • 04Oferece suporte a canary releases e testes A/B de modelos
  • 05Agrupa solicitações para execução na GPU, com controles de latência configuráveis

Casos de uso

  • Implantar modelos TensorFlow por trás de uma API de inferência em produção
  • Lançar gradualmente uma nova versão de modelo mantendo o mesmo endpoint
  • Executar testes A/B entre modelos experimentais e o modelo atual
  • Servir modelos que não sejam TensorFlow ou embeddings por meio de um servable personalizado

Início rápido

  1. 1

    Baixe a imagem Docker do TensorFlow Serving

    docker pull tensorflow/serving
  2. 2

    Clone o repositório para obter os modelos de demonstração

    git clone https://github.com/tensorflow/serving
  3. 3

    Inicie o contêiner com o modelo de demonstração e a porta REST aberta

    docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving &
  4. 4

    Consulte o modelo usando a API predict

    curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

Antes de usar

  • O README recomenda a configuração com Docker; executar sem Docker não é recomendado.
  • Para servir o modelo sem configurações adicionais, é necessário exportá-lo como TensorFlow SavedModel.

Em coleções

Treine e execute IA em GPUsFrameworks de microsserviços e infraestrutura de serviços

Tópicos

#model-serving#inference#tensorflow#machine-learning#grpc#gpu#kubernetes#deep-learning#cpp#deep-neural-networks

Perguntas frequentes

O que é serving?
Sistema de alto desempenho para servir modelos de machine learning em produção, com endpoints de inferência versionados via gRPC e HTTP. O TensorFlow Serving cuida da etapa de inferência em machine learning: recebe modelos treinados, carrega-os, gerencia seu ciclo de vida e oferece aos clientes acesso versionado a eles. Funciona de imediato com TensorFlow SavedModels e pode ser estendido para servir outros tipos de modelos e dados, como embeddings, vocabulários e transformações de features.
serving é gratuito? Qual é a licença?
serving é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
serving ainda é mantido?
Manutenção ativa. O último commit de serving foi em 6 de nov. de 2026.
Para que posso usar serving?
Implantar modelos TensorFlow por trás de uma API de inferência em produção Lançar gradualmente uma nova versão de modelo mantendo o mesmo endpoint Executar testes A/B entre modelos experimentais e o modelo atual Servir modelos que não sejam TensorFlow ou embeddings por meio de um servable personalizado
Como instalar serving?
Baixe a imagem Docker do TensorFlow Serving: docker pull tensorflow/serving Clone o repositório para obter os modelos de demonstração: git clone https://github.com/tensorflow/serving Inicie o contêiner com o modelo de demonstração e a porta REST aberta: docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving & Consulte o modelo usando a API predict: curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
Onde consigo serving?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/tensorflow/serving

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados