Фреймворк для глубокого обучения на PyTorch: автоматизирует циклы обучения, масштабирование на несколько GPU и типовую инженерную работу, сохраняя полный контроль над кодом модели.
31,4 тыс.+12 за неделю3,8 тыс.PythonApache-2.0Обновлён 8 дней назад
basetenlabs/truss
CLI и инструментарий на Python для упаковки и развёртывания ML-моделей на Baseten или собственной инфраструктуре в виде production-серверов моделей.
- Звёзды
- 1,229
- Форки
- 142
- Открытые issues
- 90
- Последний коммит
- позавчера
Что это?
Truss упаковывает логику обслуживания модели, веса и зависимости в готовый к запуску в контейнере сервер модели, а затем развёртывает его на Baseten или собственной инфраструктуре. Настройка выполняется с помощью класса модели на Python для пользовательского кода и файла config.yaml, в котором задаются параметры оборудования, например тип GPU, и параметры сборки. Разработчики могут работать в режиме разработки с live reload, а настройки Docker и Kubernetes Truss берёт на себя.
Проект поддерживает модели на популярных open-source фреймворках, включая vLLM, SGLang, TensorRT-LLM, transformers, diffusers, PyTorch и TensorFlow. Для LLM конфигурация позволяет собрать движок TensorRT-LLM с такими параметрами, как квантование FP8 и максимальная длина последовательности; готовое развёртывание предоставляет API, совместимый с OpenAI. Среди возможностей для production — настройка GPU, секреты, кэширование и автомасштабирование на Baseten.
Truss подойдёт командам, которым нужно превратить модель с Hugging Face или собственную модель PyTorch в размещённую в облаке конечную точку, не разрабатывая инфраструктуру для её обслуживания. В репозитории также есть JSON-схема для config.yaml, которая включает автодополнение в редакторе.
Ключевые возможности
- 01Упаковывает код модели, веса и зависимости в сервер модели
- 02Режим разработки с live reload для ускорения итераций
- 03Собирает движки TensorRT-LLM с квантованием FP8 на основе YAML-конфигурации
- 04Предоставляет конечные точки с API, совместимым с OpenAI, для развёртываний LLM
- 05Поддерживает модели на vLLM, SGLang, transformers, diffusers, PyTorch и TensorFlow
- 06Предоставляет настройку GPU, секреты, кэширование и автомасштабирование на Baseten
Сценарии использования
- Развёртывание LLM с Hugging Face в виде размещённой конечной точки API без написания Dockerfile
- Обслуживание собственной модели PyTorch или diffusion-модели с ускорением на GPU в production
- Замена собственноручно собранных стеков для обслуживания моделей процессом, управляемым конфигурацией
Быстрый старт
- 1
Установите Truss с помощью pip
pip install --upgrade truss - 2
Войдите в Baseten
uvx truss login - 3
Создайте структуру нового проекта
uvx truss init qwen-2.5-3b && cd qwen-2.5-3b - 4
Разверните модель в Baseten
uvx truss push
Что важно знать
- Для развертывания быстрого старта необходимы учетная запись Baseten и ключ API.
- Для развертывания TRT-LLM из быстрого старта требуется GPU L4 в Baseten, а режим --watch не поддерживается для TRT-LLM.
В подборках
Темы
Частые вопросы
- Что такое truss?
- CLI и инструментарий на Python для упаковки и развёртывания ML-моделей на Baseten или собственной инфраструктуре в виде production-серверов моделей. Truss упаковывает логику обслуживания модели, веса и зависимости в готовый к запуску в контейнере сервер модели, а затем развёртывает его на Baseten или собственной инфраструктуре. Настройка выполняется с помощью класса модели на Python для пользовательского кода и файла config.yaml, в котором задаются параметры оборудования, например тип GPU, и параметры сборки. Разработчики могут работать в режиме разработки с live reload, а настройки Docker и Kubernetes Truss берёт на себя.
- truss можно использовать бесплатно? Какая у него лицензия?
- truss распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- truss всё ещё поддерживается?
- Активно поддерживается. Последний коммит в truss — 5 нояб. 2026 г..
- Для чего можно использовать truss?
- Развёртывание LLM с Hugging Face в виде размещённой конечной точки API без написания Dockerfile Обслуживание собственной модели PyTorch или diffusion-модели с ускорением на GPU в production Замена собственноручно собранных стеков для обслуживания моделей процессом, управляемым конфигурацией
- Как установить truss?
- Установите Truss с помощью pip: pip install --upgrade truss Войдите в Baseten: uvx truss login Создайте структуру нового проекта: uvx truss init qwen-2.5-3b && cd qwen-2.5-3b Разверните модель в Baseten: uvx truss push
- Где скачать truss?
- Исходный код и инструкции по установке — на GitHub: https://github.com/basetenlabs/truss
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Сервер глубокого обучения, Python wheel и CLI для обучения моделей и запуска инференса на изображениях, текстах, табличных данных и временных рядах через REST API.
ИИ и машинное обучение#deep-learning#machine-learning#rest-api#object-detection#image-classification
2,6 тыс.544C++OtherОбновлён 8 дней назад
Modular Platform — открытая платформа с фреймворком MAX AI и языком программирования Mojo для разработки и развёртывания AI-моделей.
30,1 тыс.+32 за неделю3,2 тыс.MojoOtherОбновлён позавчера
Декларативный фреймворк для глубокого обучения: обучение, дообучение и развертывание LLM, мультимодальных и табличных моделей через YAML-конфигурации.
11,8 тыс.+4 за неделю1,2 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 5 дней назад
Автономная система на Java для публикации моделей PyTorch, TensorFlow, ONNX и других моделей глубокого обучения через HTTP-эндпоинты.
256+2 за неделю100JavaApache-2.0Активно поддерживаетсяОбновлён 5 дней назад
C++-сервер инференса для генеративных AI-моделей и классических моделей глубокого обучения, оптимизированных для OpenVINO, с поддержкой OpenAI-совместимых API и KServe.
955+3 за неделю295C++Apache-2.0Обновлён вчера