Repolode
제출하기
basetenlabs

basetenlabs/truss

ML 모델을 프로덕션 모델 서버로 패키징하고 Baseten 또는 자체 인프라에 배포하는 CLI 및 Python 툴킷입니다.

GitHub에서 보기웹사이트
스타
1,229
포크
142
열린 이슈
90
마지막 커밋
어제

어떤 프로젝트인가요?

Truss는 모델의 서빙 로직, 가중치, 종속성을 컨테이너에 바로 사용할 수 있는 모델 서버로 패키징한 뒤 Baseten 또는 자체 인프라에 배포합니다. 사용자 지정 코드는 Python 모델 클래스로 작성하고, config.yaml에서 GPU 유형 같은 하드웨어와 빌드 옵션을 지정합니다. 개발자는 라이브 리로드 개발 모드로 빠르게 반복 작업할 수 있으며, Docker와 Kubernetes 설정은 Truss가 대신 처리합니다.

vLLM, SGLang, TensorRT-LLM, transformers, diffusers, PyTorch, TensorFlow 등 널리 사용되는 오픈소스 프레임워크의 모델을 지원합니다. LLM의 경우 config에서 FP8 양자화와 최대 시퀀스 길이 같은 옵션을 지정해 TensorRT-LLM 엔진을 빌드할 수 있으며, 배포된 모델은 OpenAI 호환 API를 제공합니다. 프로덕션 기능으로는 GPU 설정, 시크릿, 캐싱, Baseten의 오토스케일링이 있습니다.

서빙 인프라를 직접 작성하지 않고 Hugging Face 모델이나 사용자 지정 PyTorch 모델을 호스팅 엔드포인트로 배포하려는 팀에 적합합니다. 저장소에는 편집기 자동 완성을 지원하는 config.yaml용 JSON 스키마도 포함되어 있습니다.

핵심 기능

  • 01모델 코드, 가중치, 종속성을 모델 서버로 패키징
  • 02빠른 반복 작업을 위한 라이브 리로드 개발 모드
  • 03YAML 설정으로 FP8 양자화를 적용한 TensorRT-LLM 엔진 빌드
  • 04LLM 배포에 OpenAI 호환 엔드포인트 제공
  • 05vLLM, SGLang, transformers, diffusers, PyTorch, TensorFlow 모델 지원
  • 06Baseten에서 GPU 설정, 시크릿, 캐싱, 오토스케일링 제공

활용 사례

  • Dockerfile을 작성하지 않고 Hugging Face LLM을 호스팅 API 엔드포인트로 배포
  • GPU 가속을 활용해 사용자 지정 PyTorch 또는 diffusion 모델을 프로덕션 환경에서 서빙
  • 직접 구축한 모델 서빙 스택을 설정 기반 워크플로로 대체

빠른 시작

  1. 1

    pip으로 Truss 설치

    pip install --upgrade truss
  2. 2

    Baseten에 로그인

    uvx truss login
  3. 3

    새 프로젝트 스캐폴딩

    uvx truss init qwen-2.5-3b && cd qwen-2.5-3b
  4. 4

    모델을 Baseten에 배포

    uvx truss push

사용 전 알아둘 점

  • 퀵스타트를 배포하려면 Baseten 계정과 API 키가 필요합니다.
  • 퀵스타트의 TRT-LLM 배포에는 Baseten의 L4 GPU가 필요하며, TRT-LLM에서는 --watch 모드를 지원하지 않습니다.

포함된 컬렉션

GPU로 AI를 학습하고 실행하는 도구

토픽

#model-serving#machine-learning#inference-server#llm#gpu#deployment#python#pytorch#artificial-intelligence#easy-to-use

자주 묻는 질문

truss은(는) 무엇인가요?
ML 모델을 프로덕션 모델 서버로 패키징하고 Baseten 또는 자체 인프라에 배포하는 CLI 및 Python 툴킷입니다. Truss는 모델의 서빙 로직, 가중치, 종속성을 컨테이너에 바로 사용할 수 있는 모델 서버로 패키징한 뒤 Baseten 또는 자체 인프라에 배포합니다. 사용자 지정 코드는 Python 모델 클래스로 작성하고, config.yaml에서 GPU 유형 같은 하드웨어와 빌드 옵션을 지정합니다. 개발자는 라이브 리로드 개발 모드로 빠르게 반복 작업할 수 있으며, Docker와 Kubernetes 설정은 Truss가 대신 처리합니다.
truss은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
truss은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
truss은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. truss의 마지막 커밋은 2026년 11월 5일입니다.
truss은(는) 어디에 사용할 수 있나요?
Dockerfile을 작성하지 않고 Hugging Face LLM을 호스팅 API 엔드포인트로 배포 GPU 가속을 활용해 사용자 지정 PyTorch 또는 diffusion 모델을 프로덕션 환경에서 서빙 직접 구축한 모델 서빙 스택을 설정 기반 워크플로로 대체
truss는 어떻게 설치하나요?
pip으로 Truss 설치: pip install --upgrade truss Baseten에 로그인: uvx truss login 새 프로젝트 스캐폴딩: uvx truss init qwen-2.5-3b && cd qwen-2.5-3b 모델을 Baseten에 배포: uvx truss push
truss은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/basetenlabs/truss

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트