Repolode
Enviar
ModelTC

ModelTC/LightLLM

Framework de inferência e serving de LLMs baseado em Python, com foco em leveza, facilidade de escalabilidade e alto throughput.

Ver no GitHub
Estrelas
4,358
Forks
384
Issues abertas
183
Último commit
há 18 horas

O que é?

LightLLM é um framework de inferência e serving de modelos de linguagem grandes, escrito em Python. Ele foi projetado para disponibilizar LLMs por meio de um endpoint de serviço, mantendo a base de código pequena e fácil de escalar entre diferentes hardwares.

O projeto se inspira em várias implementações consolidadas e open source de serving de LLMs, incluindo FasterTransformer, TGI, vLLM e FlashAttention. O scheduler e o gerenciamento do KV cache são descritos em artigos publicados, que abordam temas como escalonamento de requisições passadas e futuras com metas de SLA e constrained decoding com autômatos com pilha para gerar saídas estruturadas.

O repositório inclui guias de instalação, um guia de início rápido e um tutorial de implantação do DeepSeek, além de uma imagem Docker. Vários projetos, incluindo vLLM e SGLang, reutilizam alguns de seus kernels, e seu design totalmente em Python é apresentado como uma base para pesquisa.

Recursos principais

  • 01Base de código leve, totalmente em Python, para inferência e serving de LLMs.
  • 02Scheduler e gerenciamento de KV cache projetados para serving de alto throughput.
  • 03Suporte a constrained decoding (geração estruturada).
  • 04Transferência de prefixos do KV cache entre ranks de paralelismo de dados.
  • 05Tutoriais de implantação, incluindo de modelos DeepSeek, e uma imagem Docker.

Casos de uso

  • Disponibilizar LLMs open source, como DeepSeek, por meio de um endpoint de inferência.
  • Pesquisar estratégias de escalonamento de LLMs ou de KV cache usando uma base Python fácil de entender.
  • Executar geração de saídas estruturadas com constrained decoding.

Início rápido

  1. 1

    Siga o guia de instalação vinculado no README

  2. 2

    Siga o guia de início rápido da documentação em inglês

Em coleções

Ferramentas e bibliotecas de processamento de linguagem natural

Tópicos

#llm#inference#model-serving#gpt#llama#deep-learning#openai-triton#nlp

Perguntas frequentes

O que é LightLLM?
Framework de inferência e serving de LLMs baseado em Python, com foco em leveza, facilidade de escalabilidade e alto throughput. LightLLM é um framework de inferência e serving de modelos de linguagem grandes, escrito em Python. Ele foi projetado para disponibilizar LLMs por meio de um endpoint de serviço, mantendo a base de código pequena e fácil de escalar entre diferentes hardwares.
LightLLM é gratuito? Qual é a licença?
LightLLM é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
LightLLM ainda é mantido?
Manutenção ativa. O último commit de LightLLM foi em 6 de nov. de 2026.
Para que posso usar LightLLM?
Disponibilizar LLMs open source, como DeepSeek, por meio de um endpoint de inferência. Pesquisar estratégias de escalonamento de LLMs ou de KV cache usando uma base Python fácil de entender. Executar geração de saídas estruturadas com constrained decoding.
Como instalar LightLLM?
Siga o guia de instalação vinculado no README Siga o guia de início rápido da documentação em inglês
Onde consigo LightLLM?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ModelTC/LightLLM

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados