bentoml/BentoML

어떤 프로젝트인가요?

핵심 기능

• 01타입 힌트를 사용해 Python 추론 코드를 REST API 서버로 전환합니다.
• 02동적 배칭, 모델 병렬화, 멀티모델 파이프라인을 지원합니다.
• 03서비스를 Bento 아티팩트로 패키징하고 Docker 이미지를 생성합니다.
• 04Docker 컨테이너 또는 Kubernetes에 배포합니다.
• 05실행 중인 서비스를 호출할 수 있는 Python HTTP 클라이언트를 제공합니다.

활용 사례

• Hugging Face 또는 커스텀 PyTorch 모델을 HTTP API로 서빙합니다.
• 배칭과 GPU 활용을 적용해 LLM 추론 서비스를 실행합니다.
• 여러 모델을 하나의 추론 파이프라인으로 구성합니다.
• 프로덕션 배포를 위해 ML 서비스를 Docker 이미지로 패키징합니다.

빠른 시작

1. 1

   pip으로 BentoML을 설치합니다

   pip install -U bentoml
2. 2

   로컬 실행을 위해 예제의 추가 종속 항목(PyTorch 및 Transformers)을 설치합니다

   pip install torch transformers
3. 3

   http://localhost:3000에서 서비스를 로컬로 실행합니다

   bentoml serve

사용 전 알아둘 점

• !Python 3.9 이상이 필요합니다.
• !빠른 시작 예제는 PyTorch 및 Transformers와 같은 대용량 ML 모델을 다운로드하고 실행하므로 종속 항목이 무겁습니다.

토픽

자주 묻는 질문

BentoML은(는) 무엇인가요?

AI 모델 추론 API, 멀티모델 파이프라인, LLM 앱을 구축하고 Docker와 Kubernetes에 배포하는 Python 라이브러리입니다. BentoML은 AI 및 머신러닝 모델을 온라인 서빙 시스템으로 전환하는 Python 라이브러리입니다. 몇 줄의 코드와 표준 Python 타입 힌트만으로 어떤 추론 스크립트든 REST API로 노출할 수 있습니다. 서비스는 service.py 파일에서 정의하며, 환경과 의존성 설정은 구성 파일로 관리합니다.

BentoML은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

BentoML은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

BentoML은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. BentoML의 마지막 커밋은 2026년 10월 20일입니다.

BentoML은(는) 어디에 사용할 수 있나요?

Hugging Face 또는 커스텀 PyTorch 모델을 HTTP API로 서빙합니다. 배칭과 GPU 활용을 적용해 LLM 추론 서비스를 실행합니다. 여러 모델을 하나의 추론 파이프라인으로 구성합니다. 프로덕션 배포를 위해 ML 서비스를 Docker 이미지로 패키징합니다.

BentoML는 어떻게 설치하나요?

pip으로 BentoML을 설치합니다: pip install -U bentoml 로컬 실행을 위해 예제의 추가 종속 항목(PyTorch 및 Transformers)을 설치합니다: pip install torch transformers http://localhost:3000에서 서비스를 로컬로 실행합니다: bentoml serve

BentoML은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/bentoml/BentoML