sgl-project/sglang

어떤 프로젝트인가요?

핵심 기능

• 01하나의 프레임워크에서 대규모 언어 모델, 비전 언어 모델, 디퓨전 모델을 서빙합니다.
• 02NVIDIA, AMD, Google TPU, Intel, Apple Silicon, Huawei Ascend, Moore Threads 하드웨어를 지원합니다.
• 03이미지와 동영상 생성을 위한 SGLang Diffusion을 포함합니다.
• 04Docker 이미지와 pip/uv로 설치할 수 있는 Python 패키지를 제공합니다.
• 05롤아웃 생성을 위해 RL 학습 프레임워크와 연동됩니다.

활용 사례

• GPU 클러스터에서 LLM 또는 VLM을 온라인 추론 서비스로 배포하기.
• 강화 학습 후속 학습을 위한 롤아웃 생성하기.
• Apple Silicon Mac 또는 Intel 하드웨어에서 모델 추론 실행하기.
• 디퓨전 기능으로 이미지 또는 동영상 생성 모델 서빙하기.

빠른 시작

1. 1

   SGLang과 종속성이 포함된 Docker 이미지를 Pull합니다

   docker pull lmsysorg/sglang:latest
2. 2

   또는 활성화된 Python 환경에서 uv로 SGLang을 설치합니다

   uv pip install --prerelease=allow sglang
3. 3

   문서의 Quickstart 가이드를 따라 모델을 실행합니다

사용 전 알아둘 점

• !uv로 설치하려면 --prerelease 플래그를 사용해 프리릴리스 패키지를 허용해야 합니다.
• !AWS Trainium 및 Cambricon MLU와 같은 일부 하드웨어 통합은 아직 개발 중입니다.

토픽

자주 묻는 질문

sglang은(는) 무엇인가요?

SGLang은 다양한 GPU, TPU, CPU 플랫폼에서 대규모 언어·비전 언어·디퓨전 모델을 서빙하는 오픈소스 추론 프레임워크입니다. SGLang은 대규모 언어 모델, 비전 언어 모델, 디퓨전 모델을 서빙하기 위한 프레임워크입니다. 에이전트형 워크로드, 대규모 온라인 서빙, 강화 학습용 롤아웃 생성에 초점을 맞춥니다. 사용자는 Docker 이미지나 uv로 설치하는 Python 패키지로 모델을 실행할 수 있습니다.

sglang은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

sglang은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

sglang은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. sglang의 마지막 커밋은 2026년 10월 20일입니다.

sglang은(는) 어디에 사용할 수 있나요?

GPU 클러스터에서 LLM 또는 VLM을 온라인 추론 서비스로 배포하기. 강화 학습 후속 학습을 위한 롤아웃 생성하기. Apple Silicon Mac 또는 Intel 하드웨어에서 모델 추론 실행하기. 디퓨전 기능으로 이미지 또는 동영상 생성 모델 서빙하기.

sglang는 어떻게 설치하나요?

SGLang과 종속성이 포함된 Docker 이미지를 Pull합니다: docker pull lmsysorg/sglang:latest 또는 활성화된 Python 환경에서 uv로 SGLang을 설치합니다: uv pip install --prerelease=allow sglang 문서의 Quickstart 가이드를 따라 모델을 실행합니다

sglang은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/sgl-project/sglang