mosecorg/mosec

어떤 프로젝트인가요?

핵심 기능

• 01최대 배치 크기 또는 대기 시간에 따라 동시에 들어오는 요청을 묶는 동적 배칭.
• 02CPU와 GPU 작업을 별도의 프로세스에서 실행하는 다단계 파이프라인.
• 03워커 작성에 사용할 수 있는 순수 Python 인터페이스와 Rust 기반 웹 계층.
• 04프로덕션 환경을 위한 모델 워밍업, 정상 종료, Prometheus 메트릭.
• 05서빙하는 엔드포인트의 OpenAPI 문서 자동 생성.
• 06공유 메모리 IPC를 지원하는 Msgpack 및 JSON 직렬화.

활용 사례

• 배치 GPU 추론을 지원하는 HTTP API로 PyTorch 또는 Stable Diffusion 모델 서빙.
• 전처리와 모델 실행을 분리하는 다단계 추론 서비스 구축.
• Kubernetes 컨테이너에서 OpenAI 호환 임베딩 또는 리랭킹 엔드포인트 배포.

빠른 시작

1. 1

   PyPI에서 mosec 패키지를 설치합니다

   pip install -U mosec
2. 2

   diffusers 및 transformers 필수 패키지를 설치합니다(stable diffusion 예제를 실행할 때만 필요)

   pip install --upgrade diffusers[torch] transformers
3. 3

   프로젝트 루트에서 stable diffusion 예제 서버를 실행합니다

   python examples/stable_diffusion/server.py --log-level debug --timeout 30000

사용 전 알아둘 점

• !pip를 통한 설치는 Linux 또는 macOS에서만 지원됩니다.
• !Python 3.7 이상이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

mosec은(는) 무엇인가요?

Rust 웹 계층을 갖춘 Python ML 모델 서빙 프레임워크로, 온라인 추론 API를 위한 동적 배칭과 CPU/GPU 파이프라인을 제공합니다. Mosec은 학습된 머신러닝 모델을 온라인 HTTP 서비스로 제공하기 위한 모델 서빙 프레임워크입니다. 웹 계층과 작업 조정은 Rust로 구현하고, 서비스 로직은 Python으로 작성하므로 특정 ML 프레임워크에 맞춰 코드를 다시 작성할 필요 없이 오프라인 테스트에 사용한 추론 코드를 그대로 서빙할 수 있습니다.

mosec은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mosec은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mosec은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. mosec의 마지막 커밋은 2026년 11월 2일입니다.

mosec은(는) 어디에 사용할 수 있나요?

배치 GPU 추론을 지원하는 HTTP API로 PyTorch 또는 Stable Diffusion 모델 서빙. 전처리와 모델 실행을 분리하는 다단계 추론 서비스 구축. Kubernetes 컨테이너에서 OpenAI 호환 임베딩 또는 리랭킹 엔드포인트 배포.

mosec는 어떻게 설치하나요?

PyPI에서 mosec 패키지를 설치합니다: pip install -U mosec diffusers 및 transformers 필수 패키지를 설치합니다(stable diffusion 예제를 실행할 때만 필요): pip install --upgrade diffusers[torch] transformers 프로젝트 루트에서 stable diffusion 예제 서버를 실행합니다: python examples/stable_diffusion/server.py --log-level debug --timeout 30000

mosec은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mosecorg/mosec