Repolode
Enviar
Tencent

Tencent/KsanaLLM

Motor de alto rendimiento y fácil de usar para inferencia y serving de LLM, con un servidor API compatible con OpenAI.

Ver en GitHub
Estrellas
552
Forks
46
Issues abiertos
14
Último commit
hace 2 meses

¿Qué es?

KsanaLLM es un motor para ejecutar inferencias con modelos de lenguaje grandes y ofrecerlos mediante una API. Carga modelos populares de Hugging Face, como LLaMA, Qwen, Baichuan, Yi y DeepSeek, y admite los formatos de pesos PyTorch y SafeTensors.

El motor está enfocado en el rendimiento. Usa PagedAttention para la memoria de claves y valores de atención, batching dinámico con planificación y ajuste de memoria, caché de prefijos y paralelismo tensorial entre varias GPU. También admite salida en streaming y modos de decodificación como el muestreo paralelo y la búsqueda por haces, y ofrece un endpoint principal /v1/chat/completions con parsers para llamadas a herramientas y razonamiento.

KsanaLLM está diseñado para GPU NVIDIA y NPU Huawei Ascend; el README también incluye compatibilidad con Kunlunxin XPU. El proyecto incluye archivos de compilación de Docker, serving distribuido entre varios nodos, modo de desagregación PD (prefill/decode) y un conector opcional de caché KV global respaldado por Mooncake Store.

Funciones clave

  • 01Ofrece una API /v1/chat/completions compatible con OpenAI y salida en streaming.
  • 02Usa PagedAttention y caché de prefijos para gestionar la memoria KV de atención.
  • 03Realiza batching dinámico con planificación de tareas y uso de memoria optimizados.
  • 04Admite paralelismo tensorial entre varias GPU y ejecución distribuida entre varios nodos.
  • 05Carga modelos de Hugging Face en formatos PyTorch y SafeTensors.
  • 06Se ejecuta en GPU NVIDIA y NPU Huawei Ascend; también incluye compatibilidad con Kunlunxin XPU.

Casos de uso

  • Ofrecer modelos LLM de pesos abiertos, como LLaMA o Qwen, mediante una API al estilo de OpenAI.
  • Ejecutar modelos de la categoría DeepSeek en varias GPU o nodos.
  • Implementar inferencia de LLM en clústeres de NPU Huawei Ascend.
  • Experimentar con la desagregación de prefill/decode o con el uso compartido de una caché KV global.

En colecciones

Ejecuta LLM en local

Temas

#llm-inference#llm-serving#cuda#pagedattention#tensor-parallelism#openai-api#ascend-npu#huggingface

Preguntas frecuentes

¿Qué es KsanaLLM?
Motor de alto rendimiento y fácil de usar para inferencia y serving de LLM, con un servidor API compatible con OpenAI. KsanaLLM es un motor para ejecutar inferencias con modelos de lenguaje grandes y ofrecerlos mediante una API. Carga modelos populares de Hugging Face, como LLaMA, Qwen, Baichuan, Yi y DeepSeek, y admite los formatos de pesos PyTorch y SafeTensors.
¿KsanaLLM es gratuito? ¿Qué licencia tiene?
KsanaLLM es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿KsanaLLM sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de KsanaLLM fue el 27 ago 2026.
¿Para qué puedo usar KsanaLLM?
Ofrecer modelos LLM de pesos abiertos, como LLaMA o Qwen, mediante una API al estilo de OpenAI. Ejecutar modelos de la categoría DeepSeek en varias GPU o nodos. Implementar inferencia de LLM en clústeres de NPU Huawei Ascend. Experimentar con la desagregación de prefill/decode o con el uso compartido de una caché KV global.
¿Dónde consigo KsanaLLM?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Tencent/KsanaLLM

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados