Repolode
Предложить
Lightning-AI

Lightning-AI/litgpt

Набор инструментов на базе PyTorch с реализациями 20+ open-weight моделей LLM с нуля для предварительного обучения, дообучения, оценки и запуска.

Открыть на GitHubСайт
Звёзды
13,724
Форки
1,527
Открытые issues
315
Последний коммит
9 дней назад

Что это?

LitGPT — это набор инструментов на Python для работы с большими языковыми моделями. Каждая поддерживаемая модель реализована с нуля в одном файле с минимальным количеством внутренних абстракций, поэтому код легко читать и изменять. Поддерживаются 20+ семейств моделей, включая Llama, Gemma, Qwen, Phi, Mistral и Falcon; CLI и Python API позволяют скачивать веса, общаться с моделями, дообучать и предварительно обучать их, оценивать и запускать.

Проект подходит как для экспериментов, так и для масштабного обучения. Он поддерживает параметрически эффективное дообучение с помощью LoRA, QLoRA и адаптеров, режимы низкой точности и квантования (в том числе 4- и 8-битные), Flash Attention и обучение на нескольких GPU с использованием fully-sharded data parallelism. В комплект входят YAML-рецепты обучения для распространённых конфигураций моделей и оборудования, а чекпойнты можно экспортировать в другие форматы весов моделей.

LitGPT построен на Lightning Fabric и развивает кодовые базы Lit-LLaMA и nanoGPT. Проект распространяется по лицензии Apache 2.0.

Ключевые возможности

  • 01Реализации моделей с нуля в одном файле и с минимальным количеством абстракций.
  • 02Дообучение с LoRA, QLoRA, Adapter и Adapter v2.
  • 03Предварительное и продолженное обучение на собственных текстовых данных.
  • 04Квантование до 4 и 8 бит, а также смешанная точность FP16/BF16.
  • 05Обучение на нескольких GPU с помощью fully-sharded data parallelism, а также поддержка TPU/XLA.
  • 06Запуск моделей через локальный web API и интерактивный чат из CLI.

Сценарии использования

  • Дообучение open-weight модели, например Phi или Llama, на наборе инструкций для конкретной предметной области.
  • Изучение и изменение кода архитектуры LLM без прослоек абстракций фреймворка.
  • Запуск квантованной до 4 бит модели на GPU с ограниченным объёмом памяти.
  • Развёртывание дообученного чекпойнта в виде HTTP-эндпоинта для инференса.

Быстрый старт

  1. 1

    Установите LitGPT с помощью pip

    pip install 'litgpt[extra]'
  2. 2

    Загрузите модель через Python API и сгенерируйте текст (на основе примера из README)

Что важно знать

  • Для обучения и дообучения более крупных моделей на практике требуется оборудование с GPU.

Темы

#llm#pytorch#finetuning#pretraining#lora#quantization#llm-inference#deep-learning#ai#artificial-intelligence

Частые вопросы

Что такое litgpt?
Набор инструментов на базе PyTorch с реализациями 20+ open-weight моделей LLM с нуля для предварительного обучения, дообучения, оценки и запуска. LitGPT — это набор инструментов на Python для работы с большими языковыми моделями. Каждая поддерживаемая модель реализована с нуля в одном файле с минимальным количеством внутренних абстракций, поэтому код легко читать и изменять. Поддерживаются 20+ семейств моделей, включая Llama, Gemma, Qwen, Phi, Mistral и Falcon; CLI и Python API позволяют скачивать веса, общаться с моделями, дообучать и предварительно обучать их, оценивать и запускать.
litgpt можно использовать бесплатно? Какая у него лицензия?
litgpt распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
litgpt всё ещё поддерживается?
Активно поддерживается. Последний коммит в litgpt — 13 окт. 2026 г..
Для чего можно использовать litgpt?
Дообучение open-weight модели, например Phi или Llama, на наборе инструкций для конкретной предметной области. Изучение и изменение кода архитектуры LLM без прослоек абстракций фреймворка. Запуск квантованной до 4 бит модели на GPU с ограниченным объёмом памяти. Развёртывание дообученного чекпойнта в виде HTTP-эндпоинта для инференса.
Как установить litgpt?
Установите LitGPT с помощью pip: pip install 'litgpt[extra]' Загрузите модель через Python API и сгенерируйте текст (на основе примера из README)
Где скачать litgpt?
Исходный код и инструкции по установке — на GitHub: https://github.com/Lightning-AI/litgpt

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

karpathy / nanochat

Минималистичный, удобный для модификации инструментарий для полного цикла работы с LLM — от токенизации и предобучения до дообучения, оценки и чата; запускается на одном узле с GPU.

ИИ и машинное обучение#llm#pretraining#finetuning
58,8 тыс.8,2 тыс.PythonMITОбновлён в прошлом месяце