basetenlabs/truss

これは何？

主な機能

• 01モデルコード、重み、依存関係をモデルサーバーにパッケージ化
• 02反復作業を高速化するライブリロード開発モード
• 03YAML設定からFP8量子化対応のTensorRT-LLMエンジンをビルド
• 04LLMのデプロイでOpenAI互換エンドポイントを提供
• 05vLLM、SGLang、transformers、diffusers、PyTorch、TensorFlowのモデルに対応
• 06Baseten上でGPU設定、シークレット、キャッシュ、自動スケーリングを提供

ユースケース

• Dockerfileを書かずにHugging FaceのLLMをホスト型APIエンドポイントとしてデプロイ
• GPUアクセラレーションを活用し、カスタムPyTorchモデルやdiffusionモデルを本番環境でサービング
• 手作業で構築したモデルサービングスタックを、設定駆動のワークフローに置き換える

クイックスタート

1. 1

   pipでTrussをインストールする

   pip install --upgrade truss
2. 2

   Basetenにログインする

   uvx truss login
3. 3

   新しいプロジェクトをスキャフォールドする

   uvx truss init qwen-2.5-3b && cd qwen-2.5-3b
4. 4

   モデルをBasetenにデプロイする

   uvx truss push

使う前に知っておきたいこと

• !クイックスタートのデプロイには、BasetenアカウントとAPIキーが必要です。
• !クイックスタートのTRT-LLMデプロイには、Baseten上のL4 GPUが必要です。また、TRT-LLMでは--watchモードはサポートされていません。

収録されている特集

トピック

よくある質問

truss とは？

MLモデルを本番用モデルサーバーとしてBasetenまたは独自インフラにパッケージ化・デプロイするためのCLIとPythonツールキット。 Trussはモデルのサービングロジック、重み、依存関係をコンテナ対応のモデルサーバーにまとめ、Basetenまたは独自インフラにデプロイします。カスタムコード用のPythonモデルクラスと、GPUの種類などのハードウェアやビルドオプションを指定するconfig.yamlを使って操作します。ライブリロード開発モードで反復作業を進められ、DockerやKubernetesの設定も自動で処理されます。

truss は無料で使えますか？ライセンスは？

truss は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

truss は今もメンテナンスされていますか？

活発にメンテナンス中。truss の最終コミットは 2026年11月5日 です。

truss は何に使えますか？

Dockerfileを書かずにHugging FaceのLLMをホスト型APIエンドポイントとしてデプロイ GPUアクセラレーションを活用し、カスタムPyTorchモデルやdiffusionモデルを本番環境でサービング 手作業で構築したモデルサービングスタックを、設定駆動のワークフローに置き換える

truss のインストール方法は？

pipでTrussをインストールする: pip install --upgrade truss Basetenにログインする: uvx truss login 新しいプロジェクトをスキャフォールドする: uvx truss init qwen-2.5-3b && cd qwen-2.5-3b モデルをBasetenにデプロイする: uvx truss push

truss はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/basetenlabs/truss