Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
94,2 тыс.23,6 тыс.PythonApache-2.0Обновлён 10 часов назад
sgl-project/sglang
SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ.
- Звёзды
- 37,472
- Форки
- 9,720
- Открытые issues
- 5,965
- Последний коммит
- 10 часов назад
Что это?
SGLang — фреймворк для обслуживания больших языковых и мультимодальных моделей, а также diffusion-моделей. Он рассчитан на агентные задачи, масштабное обслуживание онлайн-запросов и генерацию rollout-данных для обучения с подкреплением. Модель можно запустить с помощью Docker-образа или Python-пакета, установленного через uv.
Проект поддерживает широкий спектр оборудования: от потребительских видеокарт NVIDIA RTX до серверных чипов класса B200, а также GPU AMD Instinct, Google TPU, GPU Intel Arc и процессоры Xeon, Apple Silicon через Metal и MLX и NPU Huawei Ascend. Встроенный SGLang Diffusion позволяет генерировать изображения и видео в том же пакете.
Помимо основного движка, в проекте развиваются связанные репозитории для обучения speculative decoding, обслуживания аудио, TPU-бэкендов и обучения пользователей. SGLang также интегрируется с фреймворками для обучения с подкреплением, такими как verl и slime, и инструментами оркестрации, например Ray Serve и NVIDIA Dynamo.
Ключевые возможности
- 01Обслуживает большие языковые и мультимодальные модели, а также diffusion-модели в рамках одного фреймворка.
- 02Поддерживает оборудование NVIDIA, AMD, Google TPU, Intel, Apple Silicon, Huawei Ascend и Moore Threads.
- 03Включает SGLang Diffusion для генерации изображений и видео.
- 04Предоставляет Docker-образ и Python-пакет, который можно установить через pip или uv.
- 05Интегрируется с фреймворками обучения с подкреплением для генерации rollout-данных.
Сценарии использования
- Развёртывание LLM или VLM как сервиса онлайн-инференса в кластере GPU.
- Генерация rollout-данных для постобучения с подкреплением.
- Запуск инференса моделей на компьютерах Mac с Apple Silicon или оборудовании Intel.
- Обслуживание моделей генерации изображений и видео с поддержкой diffusion-моделей.
Быстрый старт
- 1
Загрузите Docker-образ с SGLang и его зависимостями
docker pull lmsysorg/sglang:latest - 2
Или установите SGLang с помощью uv в активированном окружении Python
uv pip install --prerelease=allow sglang - 3
Запустите модель, следуя руководству Quickstart в документации
Что важно знать
- Для установки через uv необходимо разрешить предварительные версии пакетов с помощью флага --prerelease.
- Некоторые интеграции с оборудованием, например AWS Trainium и Cambricon MLU, всё ещё находятся в разработке.
Темы
Частые вопросы
- Что такое sglang?
- SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ. SGLang — фреймворк для обслуживания больших языковых и мультимодальных моделей, а также diffusion-моделей. Он рассчитан на агентные задачи, масштабное обслуживание онлайн-запросов и генерацию rollout-данных для обучения с подкреплением. Модель можно запустить с помощью Docker-образа или Python-пакета, установленного через uv.
- sglang можно использовать бесплатно? Какая у него лицензия?
- sglang распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- sglang всё ещё поддерживается?
- Активно поддерживается. Последний коммит в sglang — 20 окт. 2026 г..
- Для чего можно использовать sglang?
- Развёртывание LLM или VLM как сервиса онлайн-инференса в кластере GPU. Генерация rollout-данных для постобучения с подкреплением. Запуск инференса моделей на компьютерах Mac с Apple Silicon или оборудовании Intel. Обслуживание моделей генерации изображений и видео с поддержкой diffusion-моделей.
- Как установить sglang?
- Загрузите Docker-образ с SGLang и его зависимостями: docker pull lmsysorg/sglang:latest Или установите SGLang с помощью uv в активированном окружении Python: uv pip install --prerelease=allow sglang Запустите модель, следуя руководству Quickstart в документации
- Где скачать sglang?
- Исходный код и инструкции по установке — на GitHub: https://github.com/sgl-project/sglang
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Официальная реализация FlashAttention — точного и экономного по памяти attention-ядра для обучения и инференса Transformer-моделей на GPU.
25,2 тыс.3,2 тыс.PythonBSD-3-ClauseОбновлён 15 часов назад
Слой управления KV-кэшем, который хранит, передаёт и повторно использует кэши внимания LLM между serving-движками, сокращая время до первого токена.
12,1 тыс.2,2 тыс.PythonApache-2.0Обновлён 9 часов назад
Фреймворк для обучения LLM, VLM, диффузионных моделей и моделей с воплощённым интеллектом на NVIDIA GPU и Kunlun XPU, построенный на Megatron-LM и нативных для torch бэкендах.
69458PythonApache-2.0Обновлён вчера
Движок для инференса LLM и мультимодальных моделей на C/C++, работающий локально и в облаке на разных аппаратных платформах.
131,8 тыс.24,6 тыс.C++MITОбновлён 10 часов назад
Библиотека для оптимизации глубокого обучения, упрощающая и ускоряющая распределённое обучение и инференс больших моделей.
43,2 тыс.5 тыс.PythonApache-2.0Обновлён вчера