tensorflow/serving

Что это?

Ключевые возможности

• 01Одновременно обслуживает несколько моделей или несколько версий одной модели
• 02Предоставляет gRPC- и HTTP/REST-endpoint’ы для инференса
• 03Позволяет развёртывать новые версии моделей без изменений в клиентском коде
• 04Поддерживает canary-релизы и A/B-тестирование моделей
• 05Объединяет запросы в пакеты для выполнения на GPU с настраиваемыми параметрами задержки

Сценарии использования

• Развёртывание моделей TensorFlow в production за API для инференса
• Постепенный запуск новой версии модели с сохранением того же endpoint’а
• A/B-тестирование экспериментальной и текущей моделей
• Обслуживание моделей не на TensorFlow или эмбеддингов с помощью пользовательского servable

Быстрый старт

1. 1

   Скачайте Docker-образ TensorFlow Serving

   docker pull tensorflow/serving
2. 2

   Клонируйте репозиторий, чтобы получить демонстрационные модели

   git clone https://github.com/tensorflow/serving
3. 3

   Запустите контейнер с демонстрационной моделью и открытым портом REST

   docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving &
4. 4

   Отправьте запрос к модели через API predict

   curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

Что важно знать

• !В README рекомендуется настройка с Docker; запуск без Docker не рекомендуется.
• !Чтобы сразу начать обслуживать модель, необходимо экспортировать её в формате TensorFlow SavedModel.

В подборках

Темы

Частые вопросы

Что такое serving?

Высокопроизводительная система для работы с ML-моделями в production: версионируемые gRPC- и HTTP-endpoint’ы для инференса. TensorFlow Serving отвечает за инференс в машинном обучении: принимает обученные модели, загружает их и управляет их жизненным циклом, а клиентам предоставляет доступ к моделям с учётом версий. Система сразу поддерживает TensorFlow SavedModels и может быть расширена для работы с другими типами моделей и данными, например эмбеддингами, словарями и преобразованиями признаков.

serving можно использовать бесплатно? Какая у него лицензия?

serving распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

serving всё ещё поддерживается?

Активно поддерживается. Последний коммит в serving — 21 окт. 2026 г..

Для чего можно использовать serving?

Развёртывание моделей TensorFlow в production за API для инференса Постепенный запуск новой версии модели с сохранением того же endpoint’а A/B-тестирование экспериментальной и текущей моделей Обслуживание моделей не на TensorFlow или эмбеддингов с помощью пользовательского servable

Как установить serving?

Скачайте Docker-образ TensorFlow Serving: docker pull tensorflow/serving Клонируйте репозиторий, чтобы получить демонстрационные модели: git clone https://github.com/tensorflow/serving Запустите контейнер с демонстрационной моделью и открытым портом REST: docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving & Отправьте запрос к модели через API predict: curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

Где скачать serving?

Исходный код и инструкции по установке — на GitHub: https://github.com/tensorflow/serving