Repolode
Enviar
Tencent

Tencent/KsanaLLM

Um mecanismo de alto desempenho e fácil de usar para inferência e serving de LLMs, com um servidor de API compatível com OpenAI.

Ver no GitHub
Estrelas
552
Forks
46
Issues abertas
14
Último commit
há 2 meses

O que é?

KsanaLLM é um mecanismo para executar inferência de modelos de linguagem grandes e disponibilizá-los por meio de uma API. Ele carrega modelos populares do Hugging Face, como LLaMA, Qwen, Baichuan, Yi e DeepSeek, e oferece suporte aos formatos de pesos PyTorch e SafeTensors.

O mecanismo prioriza a capacidade de processamento. Ele usa PagedAttention para a memória key-value de atenção, batching dinâmico com ajustes de agendamento e uso de memória, cache de prefixos e paralelismo tensorial em várias GPUs. Também oferece suporte à saída em streaming e a modos de decodificação como amostragem paralela e beam search, além de disponibilizar um endpoint principal /v1/chat/completions com parsers para tool calls e raciocínio.

KsanaLLM é voltado para GPUs NVIDIA e NPUs Huawei Ascend, e o README também lista suporte a Kunlunxin XPU. O projeto inclui arquivos de build do Docker, serving distribuído em vários nós, modo de desagregação PD (prefill/decode) e um conector opcional de cache KV global com suporte do Mooncake Store.

Recursos principais

  • 01Disponibiliza uma API /v1/chat/completions compatível com OpenAI, com saída em streaming.
  • 02Usa PagedAttention e cache de prefixos para gerenciar a memória KV de atenção.
  • 03Executa batching dinâmico com ajustes no agendamento de tarefas e no uso de memória.
  • 04Oferece suporte a paralelismo tensorial em várias GPUs e execução distribuída em vários nós.
  • 05Carrega modelos do Hugging Face nos formatos PyTorch e SafeTensors.
  • 06Funciona em GPUs NVIDIA e NPUs Huawei Ascend; o suporte a Kunlunxin XPU também é listado.

Casos de uso

  • Disponibilizar LLMs de pesos abertos, como LLaMA ou Qwen, por trás de uma API no estilo OpenAI.
  • Executar modelos da classe DeepSeek em várias GPUs ou nós.
  • Implantar inferência de LLM em clusters de NPUs Huawei Ascend.
  • Experimentar a desagregação de prefill/decode ou o compartilhamento de cache KV global.

Em coleções

Rode LLMs localmente

Tópicos

#llm-inference#llm-serving#cuda#pagedattention#tensor-parallelism#openai-api#ascend-npu#huggingface

Perguntas frequentes

O que é KsanaLLM?
Um mecanismo de alto desempenho e fácil de usar para inferência e serving de LLMs, com um servidor de API compatível com OpenAI. KsanaLLM é um mecanismo para executar inferência de modelos de linguagem grandes e disponibilizá-los por meio de uma API. Ele carrega modelos populares do Hugging Face, como LLaMA, Qwen, Baichuan, Yi e DeepSeek, e oferece suporte aos formatos de pesos PyTorch e SafeTensors.
KsanaLLM é gratuito? Qual é a licença?
KsanaLLM é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
KsanaLLM ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de KsanaLLM foi em 27 de ago. de 2026.
Para que posso usar KsanaLLM?
Disponibilizar LLMs de pesos abertos, como LLaMA ou Qwen, por trás de uma API no estilo OpenAI. Executar modelos da classe DeepSeek em várias GPUs ou nós. Implantar inferência de LLM em clusters de NPUs Huawei Ascend. Experimentar a desagregação de prefill/decode ou o compartilhamento de cache KV global.
Onde consigo KsanaLLM?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Tencent/KsanaLLM

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados