Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
6 mil+52 esta semana724PythonApache-2.0Actualizado hace 12 horas
alibaba/rtp-llm
Motor de inferencia de LLM de alto rendimiento de Alibaba, utilizado en varias de sus unidades de negocio para servir modelos de lenguaje grandes.
- Estrellas
- 1,394
- Forks
- 299
- Issues abiertos
- 274
- Último commit
- hace 5 horas
¿Qué es?
RTP-LLM es un motor de aceleración de inferencia para modelos de lenguaje grandes, desarrollado por el equipo Foundation Model Inference de Alibaba. Está diseñado para servir LLM de forma eficiente en producción y se utiliza en varias unidades de negocio de Alibaba, como Taobao, Tmall y Amap.
El motor utiliza kernels CUDA optimizados, como PagedAttention y FlashAttention, admite cuantización weight-only INT8 e INT4 (incluidos checkpoints GPTQ y AWQ) y cuantización adaptativa de la caché KV. Carga modelos en formato HuggingFace con pesos en SafeTensors, PyTorch y Megatron, y puede ejecutar paralelismo tensorial en varias máquinas y GPU.
Entre sus funciones de serving se incluyen servir varios adaptadores LoRA desde una sola instancia del modelo, entradas multimodales que combinan imágenes y texto, caché de prefijos y de prompts de sistema para diálogos de varios turnos, speculative decoding y separación de Prefill/Decode. El proyecto es un subproyecto de havenask y se basa en ideas de FasterTransformer y los kernels de TensorRT-LLM.
Funciones clave
- 01Kernels CUDA optimizados, incluidos PagedAttention y FlashAttention
- 02Cuantización WeightOnly INT8/INT4, compatible con GPTQ y AWQ
- 03Paralelismo tensorial en varias máquinas y GPU
- 04Sirve varios adaptadores LoRA desde una sola instancia del modelo
- 05Caché de prefijos de contexto y caché de prompts de sistema para diálogos de varios turnos
- 06Speculative decoding y separación de Prefill/Decode
Casos de uso
- Implementar servicios de inferencia de LLM de alto rendimiento en GPU NVIDIA
- Servir muchas variantes ajustadas con LoRA de un mismo modelo base
- Ejecutar modelos multimodales de imágenes y texto en producción
- Reducir el uso de memoria de GPU y la latencia mediante cuantización y optimizaciones de la caché KV
Inicio rápido
- 1
Sigue la guía de instalación del sitio de documentación de RTP-LLM
- 2
Sigue la guía de inicio rápido para enviar tu primera solicitud
Antes de usarlo
- El README menciona kernels CUDA y optimización para V100, por lo que se centra principalmente en configuraciones con GPU NVIDIA.
- El README indica que la compatibilidad con AMD ROCm e Intel CPU sigue en desarrollo.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es rtp-llm?
- Motor de inferencia de LLM de alto rendimiento de Alibaba, utilizado en varias de sus unidades de negocio para servir modelos de lenguaje grandes. RTP-LLM es un motor de aceleración de inferencia para modelos de lenguaje grandes, desarrollado por el equipo Foundation Model Inference de Alibaba. Está diseñado para servir LLM de forma eficiente en producción y se utiliza en varias unidades de negocio de Alibaba, como Taobao, Tmall y Amap.
- ¿rtp-llm es gratuito? ¿Qué licencia tiene?
- rtp-llm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿rtp-llm sigue mantenido?
- Mantenimiento activo. El último commit de rtp-llm fue el 6 nov 2026.
- ¿Para qué puedo usar rtp-llm?
- Implementar servicios de inferencia de LLM de alto rendimiento en GPU NVIDIA Servir muchas variantes ajustadas con LoRA de un mismo modelo base Ejecutar modelos multimodales de imágenes y texto en producción Reducir el uso de memoria de GPU y la latencia mediante cuantización y optimizaciones de la caché KV
- ¿Cómo se instala rtp-llm?
- Sigue la guía de instalación del sitio de documentación de RTP-LLM Sigue la guía de inicio rápido para enviar tu primera solicitud
- ¿Dónde consigo rtp-llm?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/alibaba/rtp-llm
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
96,5 mil+549 esta semana24,5 milPythonApache-2.0Bien mantenidoActualizado hace 5 horas
Toolkit para comprimir, desplegar y servir LLM y modelos de visión y lenguaje, con motores de inferencia TurboMind y PyTorch.
8,1 mil+8 esta semana773PythonApache-2.0Actualizado hace 12 horas
Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido.
IA y Machine Learning#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 mil213PythonAGPL-3.0Bien mantenidoActualizado hace 3 días
Ejecuta LLM de código abierto como Llama y Qwen como endpoints de API compatibles con OpenAI con un solo comando e incluye una interfaz de chat integrada.
12,6 mil+7 esta semana849PythonApache-2.0Actualizado hace 4 días
Framework de inferencia y serving de LLM basado en Python, diseñado para ser ligero, escalar con facilidad y ofrecer un alto rendimiento.
4,4 mil+12 esta semana384PythonApache-2.0Bien mantenidoActualizado hace 13 horas