Repolode
Enviar
alibaba

alibaba/rtp-llm

Um mecanismo de inferência de LLM de alto desempenho da Alibaba, usado em diversas unidades de negócio da empresa para servir grandes modelos de linguagem.

Ver no GitHub
Estrelas
1,394
Forks
299
Issues abertas
274
Último commit
há 15 horas

O que é?

O RTP-LLM é um mecanismo de aceleração de inferência para grandes modelos de linguagem, desenvolvido pela equipe de inferência de modelos fundacionais da Alibaba. Ele foi projetado para servir LLMs com eficiência em produção e é usado em várias unidades de negócio da Alibaba, incluindo Taobao, Tmall e Amap.

O mecanismo usa kernels CUDA otimizados, como PagedAttention e FlashAttention, oferece suporte à quantização weight-only INT8 e INT4 (incluindo checkpoints GPTQ e AWQ) e à quantização adaptativa do KV cache. Ele carrega modelos no formato HuggingFace com pesos em SafeTensors, PyTorch e Megatron, e permite paralelismo tensorial entre várias máquinas e GPUs.

Entre os recursos de serving estão atender a vários adaptadores LoRA a partir de uma única instância do modelo, aceitar entradas multimodais que combinam imagens e texto, armazenar em cache prefixos e prompts de sistema para diálogos com várias interações, speculative decoding e separação entre Prefill e Decode. O projeto é um subprojeto do havenask e se baseia em ideias do FasterTransformer e nos kernels do TensorRT-LLM.

Recursos principais

  • 01Kernels CUDA otimizados, incluindo PagedAttention e FlashAttention
  • 02Quantização weight-only INT8/INT4, compatível com GPTQ e AWQ
  • 03Paralelismo tensorial entre várias máquinas e GPUs
  • 04Serve vários adaptadores LoRA a partir de uma única instância do modelo
  • 05Cache de prefixo de contexto e cache de prompt de sistema para diálogos com várias interações
  • 06Speculative decoding e separação entre Prefill e Decode

Casos de uso

  • Implantar serviços de inferência de LLM de alto throughput em GPUs NVIDIA
  • Servir várias versões ajustadas com LoRA de um único modelo base
  • Executar modelos multimodais de imagem e texto em produção
  • Reduzir o uso de memória da GPU e a latência com quantização e otimizações do KV cache

Início rápido

  1. 1

    Siga o guia de instalação no site de documentação do RTP-LLM

  2. 2

    Siga o guia de início rápido para enviar sua primeira solicitação

Antes de usar

  • O README menciona kernels CUDA e otimização para V100, então o foco principal são configurações com GPU NVIDIA.
  • O README informa que o suporte a AMD ROCm e Intel CPU ainda está em desenvolvimento.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#llm-serving#gpu#cuda#quantization#model-serving#lora#gpt#inference#llama

Perguntas frequentes

O que é rtp-llm?
Um mecanismo de inferência de LLM de alto desempenho da Alibaba, usado em diversas unidades de negócio da empresa para servir grandes modelos de linguagem. O RTP-LLM é um mecanismo de aceleração de inferência para grandes modelos de linguagem, desenvolvido pela equipe de inferência de modelos fundacionais da Alibaba. Ele foi projetado para servir LLMs com eficiência em produção e é usado em várias unidades de negócio da Alibaba, incluindo Taobao, Tmall e Amap.
rtp-llm é gratuito? Qual é a licença?
rtp-llm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
rtp-llm ainda é mantido?
Manutenção ativa. O último commit de rtp-llm foi em 6 de nov. de 2026.
Para que posso usar rtp-llm?
Implantar serviços de inferência de LLM de alto throughput em GPUs NVIDIA Servir várias versões ajustadas com LoRA de um único modelo base Executar modelos multimodais de imagem e texto em produção Reduzir o uso de memória da GPU e a latência com quantização e otimizações do KV cache
Como instalar rtp-llm?
Siga o guia de instalação no site de documentação do RTP-LLM Siga o guia de início rápido para enviar sua primeira solicitação
Onde consigo rtp-llm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/alibaba/rtp-llm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados