Lightning-AI/lightning-thunder

Что это?

Ключевые возможности

• 01Представляет полные графы вычислений в виде анализируемого IR, похожего на Python.
• 02Комбинируемые трансформации, которые одновременно изменяют модель, трассу и веса.
• 03Плагины для распределённого обучения (DDP, FSDP, TP), FP8/MXFP8, квантования и CUDA Graphs.
• 04Направляет операции во фьюзеры, cuDNN, TransformerEngine, Triton или ядра CUDA.

Сценарии использования

• Ускорение предобучения или дообучения LLM на GPU NVIDIA.
• Запуск моделей Hugging Face или torchvision с меньшей задержкой при инференсе.
• Эксперименты с настройками смешанной точности или квантования модели.
• Масштабирование модели PyTorch с одного GPU на распределённое выполнение на нескольких GPU.

Быстрый старт

1. 1

   Установите Thunder с помощью pip

   pip install lightning-thunder
2. 2

   Установите или обновите PyTorch и torchvision

   pip install -U torch torchvision
3. 3

   Скомпилируйте модель PyTorch с помощью Thunder и запустите её (см. пример Hello World в README)

Что важно знать

• !Для дополнительной поддержки GPU NVIDIA требуются пакеты, например сборки nvfuser, совместимые с определёнными версиями torch и CUDA.
• !Поддержку Float8 через transformer_engine необходимо собирать из исходного кода; установка занимает много времени.
• !В README отмечено, что Thunder не заменяет torch.compile, а ускорение достигается преимущественно в определённых конфигурациях.

Темы

Частые вопросы

Что такое lightning-thunder?

Компилятор PyTorch, который преобразует исходный код моделей для ускорения обучения и инференса с помощью анализируемого IR и комбинируемых трансформаций. Thunder — компилятор для глубокого обучения на PyTorch, который принимает модель и преобразует её в оптимизированную версию. Он представляет все вычисления в виде простого промежуточного представления, похожего на Python, которое можно анализировать, профилировать и переписывать, заменяя операции или ядра на более быстрые.

lightning-thunder можно использовать бесплатно? Какая у него лицензия?

lightning-thunder распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

lightning-thunder всё ещё поддерживается?

Активно поддерживается. Последний коммит в lightning-thunder — 12 окт. 2026 г..

Для чего можно использовать lightning-thunder?

Ускорение предобучения или дообучения LLM на GPU NVIDIA. Запуск моделей Hugging Face или torchvision с меньшей задержкой при инференсе. Эксперименты с настройками смешанной точности или квантования модели. Масштабирование модели PyTorch с одного GPU на распределённое выполнение на нескольких GPU.

Как установить lightning-thunder?

Установите Thunder с помощью pip: pip install lightning-thunder Установите или обновите PyTorch и torchvision: pip install -U torch torchvision Скомпилируйте модель PyTorch с помощью Thunder и запустите её (см. пример Hello World в README)

Где скачать lightning-thunder?

Исходный код и инструкции по установке — на GitHub: https://github.com/Lightning-AI/lightning-thunder