Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 9 horas
sgl-project/sglang
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
- Estrellas
- 37,472
- Forks
- 9,720
- Issues abiertos
- 5,965
- Último commit
- hace 9 horas
¿Qué es?
SGLang es un framework de serving para modelos de lenguaje, modelos de visión y lenguaje, y modelos de difusión. Está orientado a cargas de trabajo con agentes, serving online a gran escala y generación de rollouts para aprendizaje por refuerzo. Los usuarios pueden iniciar un modelo con una imagen de Docker o un paquete de Python instalado mediante uv.
El proyecto es compatible con una amplia variedad de hardware, incluidas GPU NVIDIA, desde tarjetas de consumo RTX hasta chips de centro de datos de clase B200, GPU AMD Instinct, TPU de Google, GPU Intel Arc y CPU Xeon, Apple Silicon mediante Metal y MLX, y NPU Huawei Ascend. SGLang Diffusion, incluido de forma nativa, añade generación de imágenes y video en el mismo paquete.
En torno al motor principal, el proyecto mantiene repositorios relacionados con el entrenamiento de speculative decoding, el serving de audio, los backends para TPU y la formación. También se integra con frameworks de entrenamiento de RL como verl y slime, así como con herramientas de orquestación como Ray Serve y NVIDIA Dynamo.
Funciones clave
- 01Sirve modelos de lenguaje, de visión y lenguaje, y de difusión desde un mismo framework.
- 02Es compatible con hardware de NVIDIA, AMD, Google TPU, Intel, Apple Silicon, Huawei Ascend y Moore Threads.
- 03Incluye SGLang Diffusion para generar imágenes y video.
- 04Ofrece una imagen de Docker y un paquete de Python instalable mediante pip o uv.
- 05Se integra con frameworks de entrenamiento de RL para generar rollouts.
Casos de uso
- Desplegar un LLM o VLM como servicio de inferencia online en clústeres de GPU.
- Generar rollouts para el postentrenamiento con aprendizaje por refuerzo.
- Ejecutar inferencias de modelos en equipos Mac con Apple Silicon o en hardware Intel.
- Servir modelos de generación de imágenes o video con soporte para difusión.
Inicio rápido
- 1
Descarga la imagen de Docker con SGLang y sus dependencias
docker pull lmsysorg/sglang:latest - 2
O instala SGLang con uv en un entorno de Python activado
uv pip install --prerelease=allow sglang - 3
Inicia tu modelo siguiendo la guía Quickstart de la documentación
Antes de usarlo
- La instalación con uv requiere permitir paquetes preliminares mediante la opción --prerelease.
- Varias integraciones de hardware, como AWS Trainium y Cambricon MLU, siguen en desarrollo.
Temas
Preguntas frecuentes
- ¿Qué es sglang?
- SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU. SGLang es un framework de serving para modelos de lenguaje, modelos de visión y lenguaje, y modelos de difusión. Está orientado a cargas de trabajo con agentes, serving online a gran escala y generación de rollouts para aprendizaje por refuerzo. Los usuarios pueden iniciar un modelo con una imagen de Docker o un paquete de Python instalado mediante uv.
- ¿sglang es gratuito? ¿Qué licencia tiene?
- sglang es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿sglang sigue mantenido?
- Mantenimiento activo. El último commit de sglang fue el 20 oct 2026.
- ¿Para qué puedo usar sglang?
- Desplegar un LLM o VLM como servicio de inferencia online en clústeres de GPU. Generar rollouts para el postentrenamiento con aprendizaje por refuerzo. Ejecutar inferencias de modelos en equipos Mac con Apple Silicon o en hardware Intel. Servir modelos de generación de imágenes o video con soporte para difusión.
- ¿Cómo se instala sglang?
- Descarga la imagen de Docker con SGLang y sus dependencias: docker pull lmsysorg/sglang:latest O instala SGLang con uv en un entorno de Python activado: uv pip install --prerelease=allow sglang Inicia tu modelo siguiendo la guía Quickstart de la documentación
- ¿Dónde consigo sglang?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/sgl-project/sglang
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado hace 14 horas
Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,1 mil2,2 milPythonApache-2.0Actualizado hace 8 horas
Framework de entrenamiento para LLM, VLM, modelos de difusión y modelos corporizados en GPU NVIDIA y XPU Kunlun, basado en Megatron-LM y backends nativos de torch.
69458PythonApache-2.0Actualizado ayer
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado hace 9 horas
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado ayer