Repolode
Предложить
ModelTC

ModelTC/LightLLM

Фреймворк на Python для инференса и обслуживания LLM с лёгкой архитектурой, удобным масштабированием и высокой пропускной способностью.

Открыть на GitHub
Звёзды
4,358
Форки
384
Открытые issues
183
Последний коммит
13 часов назад

Что это?

LightLLM — написанный на Python фреймворк для инференса и обслуживания больших языковых моделей. Он предназначен для запуска LLM за сервисной конечной точкой, при этом кодовая база остаётся небольшой, а систему легко масштабировать на разные аппаратные платформы.

В проекте использованы наработки нескольких известных open-source реализаций для обслуживания LLM, включая FasterTransformer, TGI, vLLM и FlashAttention. Планировщик и управление KV cache описаны в опубликованных статьях, посвящённых таким темам, как планирование запросов с учётом прошлого и будущего при заданных SLA и ограниченное декодирование со стековыми автоматами для структурированного вывода.

В репозитории есть инструкции по установке, краткое руководство по началу работы, руководство по развёртыванию DeepSeek и Docker-образ. Некоторые проекты, в том числе vLLM и SGLang, повторно используют отдельные ядра LightLLM, а его реализация на чистом Python позиционируется как основа для исследований.

Ключевые возможности

  • 01Лёгкая кодовая база на чистом Python для инференса и обслуживания LLM.
  • 02Планировщик и управление KV cache, разработанные для обслуживания с высокой пропускной способностью.
  • 03Поддержка ограниченного декодирования для структурированного вывода.
  • 04Передача префиксного KV cache между рангами параллелизма по данным.
  • 05Руководства по развёртыванию, в том числе моделей DeepSeek, и Docker-образ.

Сценарии использования

  • Обслуживание открытых LLM, например DeepSeek, через конечную точку инференса.
  • Исследование стратегий планирования запросов для LLM или управления KV cache на понятной Python-основе.
  • Генерация структурированного вывода с помощью ограниченного декодирования.

Быстрый старт

  1. 1

    Следуйте руководству по установке, ссылка на которое есть в README

  2. 2

    Следуйте руководству Quick Start в документации на английском языке

В подборках

Инструменты и библиотеки обработки естественного языка

Темы

#llm#inference#model-serving#gpt#llama#deep-learning#openai-triton#nlp

Частые вопросы

Что такое LightLLM?
Фреймворк на Python для инференса и обслуживания LLM с лёгкой архитектурой, удобным масштабированием и высокой пропускной способностью. LightLLM — написанный на Python фреймворк для инференса и обслуживания больших языковых моделей. Он предназначен для запуска LLM за сервисной конечной точкой, при этом кодовая база остаётся небольшой, а систему легко масштабировать на разные аппаратные платформы.
LightLLM можно использовать бесплатно? Какая у него лицензия?
LightLLM распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
LightLLM всё ещё поддерживается?
Активно поддерживается. Последний коммит в LightLLM — 6 нояб. 2026 г..
Для чего можно использовать LightLLM?
Обслуживание открытых LLM, например DeepSeek, через конечную точку инференса. Исследование стратегий планирования запросов для LLM или управления KV cache на понятной Python-основе. Генерация структурированного вывода с помощью ограниченного декодирования.
Как установить LightLLM?
Следуйте руководству по установке, ссылка на которое есть в README Следуйте руководству Quick Start в документации на английском языке
Где скачать LightLLM?
Исходный код и инструкции по установке — на GitHub: https://github.com/ModelTC/LightLLM

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты