Repolode
提交项目
basetenlabs

basetenlabs/truss

用于将 AI/ML 模型打包并部署到 Baseten 或自有基础设施的命令行与 Python 工具。

在 GitHub 查看官网
Star
1,229
Fork
142
未关闭 Issue
90
最近提交
前天

这是什么？

Truss 将模型的推理代码、权重和依赖打包成可直接放进容器的模型服务，并部署到 Baseten 或自有基础设施上。自定义逻辑通过 Python 模型类实现，硬件（如 GPU 类型）和构建选项则写在 config.yaml 中。开发时支持热重载，Docker 和 Kubernetes 的配置由工具处理。

项目支持 vLLM、SGLang、TensorRT-LLM、transformers、diffusers、PyTorch、TensorFlow 等主流开源框架的模型。对于大语言模型，配置文件可以构建 TensorRT-LLM 引擎，并设置 FP8 量化、最大序列长度等参数，部署后提供兼容 OpenAI 的 API。在 Baseten 上还支持 GPU 配置、密钥管理、缓存和自动扩缩容。

适合希望把 Hugging Face 或自定义 PyTorch 模型快速变成在线接口、又不想自己搭建推理基础设施的团队。仓库还提供 config.yaml 的 JSON Schema，方便编辑器自动补全。

核心功能

  • 01将模型代码、权重和依赖打包为模型服务
  • 02支持热重载的开发模式，迭代更快
  • 03通过 YAML 配置构建带 FP8 量化的 TensorRT-LLM 引擎
  • 04为大语言模型部署提供兼容 OpenAI 的接口
  • 05支持 vLLM、SGLang、transformers、diffusers、PyTorch、TensorFlow 等模型
  • 06在 Baseten 上提供 GPU 配置、密钥、缓存和自动扩缩容

适用场景

  • 无需编写 Dockerfile，将 Hugging Face 大语言模型部署为在线 API
  • 在生产环境中用 GPU 加速服务自定义的 PyTorch 或扩散模型
  • 用基于配置的流程替代手工搭建的模型服务方案

快速上手

  1. 1

    使用 pip 安装 Truss

    pip install --upgrade truss
  2. 2

    登录 Baseten

    uvx truss login
  3. 3

    创建新项目

    uvx truss init qwen-2.5-3b && cd qwen-2.5-3b
  4. 4

    将模型部署到 Baseten

    uvx truss push

使用前须知

  • 快速入门的部署需要 Baseten 账户和 API 密钥。
  • 快速入门中的 TRT-LLM 部署需要 Baseten 上的 L4 GPU，且 TRT-LLM 不支持 --watch 模式。

收录于专题

GPU 加速的 AI 训练与推理工具

标签

#model-serving#machine-learning#inference-server#llm#gpu#deployment#python#pytorch#artificial-intelligence#easy-to-use

常见问题

truss 是什么？
用于将 AI/ML 模型打包并部署到 Baseten 或自有基础设施的命令行与 Python 工具。 Truss 将模型的推理代码、权重和依赖打包成可直接放进容器的模型服务，并部署到 Baseten 或自有基础设施上。自定义逻辑通过 Python 模型类实现，硬件（如 GPU 类型）和构建选项则写在 config.yaml 中。开发时支持热重载，Docker 和 Kubernetes 的配置由工具处理。
truss 可以免费使用吗？用的什么许可证？
truss 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
truss 还在维护吗？
活跃维护中。truss 最近一次提交是在 2026年11月5日。
truss 适合用来做什么？
无需编写 Dockerfile，将 Hugging Face 大语言模型部署为在线 API 在生产环境中用 GPU 加速服务自定义的 PyTorch 或扩散模型 用基于配置的流程替代手工搭建的模型服务方案
truss 怎么安装和运行？
使用 pip 安装 Truss: pip install --upgrade truss 登录 Baseten: uvx truss login 创建新项目: uvx truss init qwen-2.5-3b && cd qwen-2.5-3b 将模型部署到 Baseten: uvx truss push
在哪里获取 truss？
源代码和安装说明在 GitHub 上：https://github.com/basetenlabs/truss

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目