Repolode
Enviar
tensorflow

tensorflow/serving

Sistema de alto rendimiento para servir modelos de machine learning en producción, con endpoints de inferencia gRPC y HTTP versionados.

Ver en GitHubSitio web
Estrellas
6,365
Forks
2,204
Issues abiertos
82
Último commit
ayer

¿Qué es?

TensorFlow Serving se encarga de la inferencia de machine learning: recibe modelos entrenados, los carga y gestiona su ciclo de vida, y ofrece a los clientes acceso versionado a ellos. Funciona de forma inmediata con TensorFlow SavedModels y se puede ampliar para servir otros tipos de modelos y datos, como embeddings, vocabularios y transformaciones de características.

El sistema puede alojar varios modelos o varias versiones de un mismo modelo a la vez. Es posible desplegar versiones nuevas sin cambiar el código de los clientes, lo que permite hacer despliegues canary y pruebas A/B de modelos experimentales. Un planificador de batching agrupa solicitudes individuales en lotes para ejecutarlas conjuntamente en GPU, con controles de latencia configurables.

El servicio ofrece endpoints de inferencia gRPC y REST. Se distribuye como una imagen de Docker, y la documentación explica cómo desplegarlo en Kubernetes, configurarlo y compilarlo desde el código fuente.

Funciones clave

  • 01Sirve varios modelos o varias versiones de un modelo a la vez
  • 02Ofrece endpoints de inferencia gRPC y HTTP/REST
  • 03Permite desplegar nuevas versiones de modelos sin cambiar el código de los clientes
  • 04Admite despliegues canary y pruebas A/B de modelos
  • 05Agrupa solicitudes en lotes para ejecutarlas en GPU, con controles de latencia configurables

Casos de uso

  • Desplegar modelos de TensorFlow detrás de una API de inferencia en producción
  • Desplegar gradualmente una nueva versión de un modelo manteniendo el mismo endpoint
  • Ejecutar pruebas A/B entre modelos experimentales y el modelo actual
  • Servir modelos que no sean de TensorFlow o embeddings mediante un servable personalizado

Inicio rápido

  1. 1

    Descarga la imagen de Docker de TensorFlow Serving

    docker pull tensorflow/serving
  2. 2

    Clona el repositorio para obtener los modelos de demostración

    git clone https://github.com/tensorflow/serving
  3. 3

    Inicia el contenedor con el modelo de demostración y el puerto REST abierto

    docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving &
  4. 4

    Consulta el modelo mediante la API predict

    curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

Antes de usarlo

  • El README recomienda usar Docker; no recomienda ejecutar la aplicación sin Docker.
  • Para servir el modelo directamente, debes exportarlo como TensorFlow SavedModel.

En colecciones

Entrena y ejecuta IA en GPUFrameworks de microservicios e infraestructura de servicios

Temas

#model-serving#inference#tensorflow#machine-learning#grpc#gpu#kubernetes#deep-learning#cpp#deep-neural-networks

Preguntas frecuentes

¿Qué es serving?
Sistema de alto rendimiento para servir modelos de machine learning en producción, con endpoints de inferencia gRPC y HTTP versionados. TensorFlow Serving se encarga de la inferencia de machine learning: recibe modelos entrenados, los carga y gestiona su ciclo de vida, y ofrece a los clientes acceso versionado a ellos. Funciona de forma inmediata con TensorFlow SavedModels y se puede ampliar para servir otros tipos de modelos y datos, como embeddings, vocabularios y transformaciones de características.
¿serving es gratuito? ¿Qué licencia tiene?
serving es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿serving sigue mantenido?
Mantenimiento activo. El último commit de serving fue el 6 nov 2026.
¿Para qué puedo usar serving?
Desplegar modelos de TensorFlow detrás de una API de inferencia en producción Desplegar gradualmente una nueva versión de un modelo manteniendo el mismo endpoint Ejecutar pruebas A/B entre modelos experimentales y el modelo actual Servir modelos que no sean de TensorFlow o embeddings mediante un servable personalizado
¿Cómo se instala serving?
Descarga la imagen de Docker de TensorFlow Serving: docker pull tensorflow/serving Clona el repositorio para obtener los modelos de demostración: git clone https://github.com/tensorflow/serving Inicia el contenedor con el modelo de demostración y el puerto REST abierto: docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving & Consulta el modelo mediante la API predict: curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
¿Dónde consigo serving?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/tensorflow/serving

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados