Repolode
Enviar
ModelTC

ModelTC/LightLLM

Framework de inferencia y serving de LLM basado en Python, diseñado para ser ligero, escalar con facilidad y ofrecer un alto rendimiento.

Ver en GitHub
Estrellas
4,358
Forks
383
Issues abiertos
183
Último commit
anteayer

¿Qué es?

LightLLM es un framework de inferencia y serving para modelos de lenguaje grandes, escrito en Python. Está diseñado para alojar LLM detrás de un endpoint de servicio, con una base de código pequeña y fácil de escalar entre distintos recursos de hardware.

El proyecto se inspira en varias implementaciones consolidadas de serving de LLM de código abierto, entre ellas FasterTransformer, TGI, vLLM y FlashAttention. Su scheduler y la gestión de la KV cache se describen en artículos publicados, que abordan temas como la planificación de solicitudes pasadas y futuras con objetivos de SLA, y el decoding restringido con autómatas de pila para generar salidas estructuradas.

El repositorio incluye guías de instalación, una guía de inicio rápido y un tutorial para desplegar DeepSeek, además de una imagen Docker. Varios proyectos, entre ellos vLLM y SGLang, reutilizan algunos de sus kernels; además, su diseño íntegramente en Python se plantea como base para la investigación.

Funciones clave

  • 01Base de código ligera, íntegramente en Python, para la inferencia y el serving de LLM.
  • 02Scheduler y gestión de la KV cache diseñados para un serving de alto rendimiento.
  • 03Compatibilidad con decoding restringido (estructurado).
  • 04Transferencia de la KV cache de prefijos entre ranks de procesamiento de datos.
  • 05Tutoriales de despliegue, incluidos los de modelos DeepSeek, e imagen Docker.

Casos de uso

  • Servir LLM abiertos, como DeepSeek, detrás de un endpoint de inferencia.
  • Investigar estrategias de planificación de LLM o de gestión de la KV cache sobre una base de Python fácil de leer.
  • Ejecutar generación de salidas estructuradas con decoding restringido.

Inicio rápido

  1. 1

    Sigue la guía de instalación enlazada en el README

  2. 2

    Sigue la guía de inicio rápido de la documentación en inglés

En colecciones

Herramientas y bibliotecas de procesamiento del lenguaje natural

Temas

#llm#inference#model-serving#gpt#llama#deep-learning#openai-triton#nlp

Preguntas frecuentes

¿Qué es LightLLM?
Framework de inferencia y serving de LLM basado en Python, diseñado para ser ligero, escalar con facilidad y ofrecer un alto rendimiento. LightLLM es un framework de inferencia y serving para modelos de lenguaje grandes, escrito en Python. Está diseñado para alojar LLM detrás de un endpoint de servicio, con una base de código pequeña y fácil de escalar entre distintos recursos de hardware.
¿LightLLM es gratuito? ¿Qué licencia tiene?
LightLLM es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LightLLM sigue mantenido?
Mantenimiento activo. El último commit de LightLLM fue el 6 nov 2026.
¿Para qué puedo usar LightLLM?
Servir LLM abiertos, como DeepSeek, detrás de un endpoint de inferencia. Investigar estrategias de planificación de LLM o de gestión de la KV cache sobre una base de Python fácil de leer. Ejecutar generación de salidas estructuradas con decoding restringido.
¿Cómo se instala LightLLM?
Sigue la guía de instalación enlazada en el README Sigue la guía de inicio rápido de la documentación en inglés
¿Dónde consigo LightLLM?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ModelTC/LightLLM

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados