sgl-project/sglang

这是什么？

核心功能

• 01用同一框架服务大语言模型、视觉语言模型和扩散模型。
• 02支持 NVIDIA、AMD、Google TPU、Intel、Apple Silicon、华为昇腾和摩尔线程等硬件。
• 03内置 SGLang Diffusion，支持图像和视频生成。
• 04提供 Docker 镜像，也可通过 pip 或 uv 安装 Python 包。
• 05可与强化学习训练框架集成，用于 rollout 生成。

适用场景

• 在 GPU 集群上将大语言模型或视觉语言模型部署为在线推理服务。
• 为强化学习后训练生成 rollout 数据。
• 在 Apple Silicon Mac 或 Intel 硬件上运行模型推理。
• 使用扩散模型支持部署图像或视频生成服务。

快速上手

1. 1

   拉取包含 SGLang 及其依赖的 Docker 镜像

   docker pull lmsysorg/sglang:latest
2. 2

   或者在已激活的 Python 环境中使用 uv 安装 SGLang

   uv pip install --prerelease=allow sglang
3. 3

   按照文档中的快速入门指南启动你的模型

使用前须知

• !使用 uv 安装时需要通过 --prerelease 参数允许预发布版本的包。
• !AWS Trainium、寒武纪 MLU 等多项硬件集成仍在开发中。

标签

常见问题

sglang 是什么？

SGLang 是一个开源推理框架，用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。 SGLang 是一个面向大语言模型、视觉语言模型和扩散模型的推理服务框架，适用于智能体任务、大规模在线服务以及强化学习中的 rollout 生成。用户可以通过 Docker 镜像或 uv 安装的 Python 包快速启动模型。

sglang 可以免费使用吗？用的什么许可证？

sglang 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

sglang 还在维护吗？

活跃维护中。sglang 最近一次提交是在 2026年10月20日。

sglang 适合用来做什么？

在 GPU 集群上将大语言模型或视觉语言模型部署为在线推理服务。 为强化学习后训练生成 rollout 数据。 在 Apple Silicon Mac 或 Intel 硬件上运行模型推理。 使用扩散模型支持部署图像或视频生成服务。

sglang 怎么安装和运行？

拉取包含 SGLang 及其依赖的 Docker 镜像: docker pull lmsysorg/sglang:latest 或者在已激活的 Python 环境中使用 uv 安装 SGLang: uv pip install --prerelease=allow sglang 按照文档中的快速入门指南启动你的模型

在哪里获取 sglang？

源代码和安装说明在 GitHub 上：https://github.com/sgl-project/sglang