Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado há 9 horas
sgl-project/sglang
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
- Estrelas
- 37,472
- Forks
- 9,720
- Issues abertas
- 5,965
- Último commit
- há 9 horas
O que é?
SGLang é um framework de serving para modelos de linguagem, modelos de visão-linguagem e modelos de difusão. Ele é voltado a workloads agentic, serving online em larga escala e geração de rollouts para aprendizado por reforço. É possível iniciar um modelo com uma imagem Docker ou um pacote Python instalado via uv.
O projeto oferece suporte a uma ampla variedade de hardware, incluindo GPUs NVIDIA, de placas RTX para consumidores a chips de data center da classe B200, GPUs AMD Instinct, TPUs do Google, GPUs Intel Arc e CPUs Xeon, Apple Silicon via Metal e MLX e NPUs Huawei Ascend. O SGLang Diffusion integrado adiciona geração de imagens e vídeos ao mesmo pacote.
Em torno do mecanismo principal, o projeto mantém repositórios relacionados a treinamento de speculative decoding, serving de áudio, backends para TPU e educação. Também se integra a frameworks de treinamento de RL, como verl e slime, e a ferramentas de orquestração, como Ray Serve e NVIDIA Dynamo.
Recursos principais
- 01Serve modelos de linguagem, visão-linguagem e difusão em um único framework.
- 02Oferece suporte a hardware NVIDIA, AMD, Google TPU, Intel, Apple Silicon, Huawei Ascend e Moore Threads.
- 03Inclui o SGLang Diffusion para geração de imagens e vídeos.
- 04Oferece uma imagem Docker e um pacote Python instalável via pip/uv.
- 05Integra-se a frameworks de treinamento de RL para geração de rollouts.
Casos de uso
- Implantar um LLM ou VLM como serviço de inferência online em clusters de GPUs.
- Gerar rollouts para pós-treinamento com aprendizado por reforço.
- Executar inferência de modelos em Macs com Apple Silicon ou em hardware Intel.
- Servir modelos de geração de imagens ou vídeos com suporte a difusão.
Início rápido
- 1
Baixe a imagem Docker com o SGLang e suas dependências
docker pull lmsysorg/sglang:latest - 2
Ou instale o SGLang com uv em um ambiente Python ativado
uv pip install --prerelease=allow sglang - 3
Inicie seu modelo seguindo o guia Quickstart na documentação
Antes de usar
- A instalação com uv exige permitir pacotes de pré-lançamento usando a opção --prerelease.
- Várias integrações de hardware, como AWS Trainium e Cambricon MLU, ainda estão em desenvolvimento.
Tópicos
Perguntas frequentes
- O que é sglang?
- SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU. SGLang é um framework de serving para modelos de linguagem, modelos de visão-linguagem e modelos de difusão. Ele é voltado a workloads agentic, serving online em larga escala e geração de rollouts para aprendizado por reforço. É possível iniciar um modelo com uma imagem Docker ou um pacote Python instalado via uv.
- sglang é gratuito? Qual é a licença?
- sglang é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- sglang ainda é mantido?
- Manutenção ativa. O último commit de sglang foi em 20 de out. de 2026.
- Para que posso usar sglang?
- Implantar um LLM ou VLM como serviço de inferência online em clusters de GPUs. Gerar rollouts para pós-treinamento com aprendizado por reforço. Executar inferência de modelos em Macs com Apple Silicon ou em hardware Intel. Servir modelos de geração de imagens ou vídeos com suporte a difusão.
- Como instalar sglang?
- Baixe a imagem Docker com o SGLang e suas dependências: docker pull lmsysorg/sglang:latest Ou instale o SGLang com uv em um ambiente Python ativado: uv pip install --prerelease=allow sglang Inicie seu modelo seguindo o guia Quickstart na documentação
- Onde consigo sglang?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/sgl-project/sglang
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado há 14 horas
Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,1 mil2,2 milPythonApache-2.0Atualizado há 8 horas
Framework para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun, baseado no Megatron-LM e em backends nativos do torch.
69458PythonApache-2.0Atualizado ontem
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado há 9 horas
Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado ontem