Repolode
提交项目
Lightning-AI

Lightning-AI/litgpt

基于 PyTorch 的 LLM 工具包，可预训练、微调、评估和部署 20 多种开源权重模型。

在 GitHub 查看官网
Star
13,724
Fork
1,527
未关闭 Issue
315
最近提交
9天前

这是什么？

LitGPT 是一个用于处理大语言模型的 Python 工具包。每个支持的模型都以单文件方式从零实现，内部抽象层很少，代码便于阅读和修改。项目覆盖 20 多个模型系列，包括 Llama、Gemma、Qwen、Phi、Mistral 和 Falcon，并提供命令行和 Python API，用于下载权重、对话、微调、预训练、评估和部署。

项目同时面向实验和大规模训练。它支持 LoRA、QLoRA 和 Adapter 等参数高效微调方法，支持低精度及量化设置（包括 4 位和 8 位），支持 Flash Attention，并可通过全分片数据并行实现多 GPU 训练。项目还提供一组针对常见模型和硬件配置的 YAML 训练配置，训练得到的权重可导出为其他常见格式。

LitGPT 基于 Lightning Fabric 构建，并在 Lit-LLaMA 和 nanoGPT 的代码基础上扩展，采用 Apache 2.0 许可证发布。

核心功能

  • 01单文件实现各模型，抽象层少，便于调试和修改。
  • 02支持 LoRA、QLoRA、Adapter 和 Adapter v2 等参数高效微调。
  • 03支持在自定义文本数据上进行预训练和继续预训练。
  • 04支持 4 位、8 位量化以及 FP16/BF16 混合精度。
  • 05通过全分片数据并行实现多 GPU 训练，并支持 TPU/XLA。
  • 06可通过命令行启动本地 Web API 服务，也可进行交互式对话。

适用场景

  • 在特定领域的指令数据集上微调 Phi、Llama 等开源权重模型。
  • 在没有框架封装的情况下阅读或修改 LLM 架构代码。
  • 在显存有限的 GPU 上运行 4 位量化模型。
  • 将微调后的检查点部署为 HTTP 推理接口。

快速上手

  1. 1

    使用 pip 安装 LitGPT

    pip install 'litgpt[extra]'
  2. 2

    用 Python API 加载模型并生成文本(来自 README 示例)

使用前须知

  • 训练和微调较大的模型实际上需要 GPU 硬件。

标签

#llm#pytorch#finetuning#pretraining#lora#quantization#llm-inference#deep-learning#ai#artificial-intelligence

常见问题

litgpt 是什么？
基于 PyTorch 的 LLM 工具包，可预训练、微调、评估和部署 20 多种开源权重模型。 LitGPT 是一个用于处理大语言模型的 Python 工具包。每个支持的模型都以单文件方式从零实现，内部抽象层很少，代码便于阅读和修改。项目覆盖 20 多个模型系列，包括 Llama、Gemma、Qwen、Phi、Mistral 和 Falcon，并提供命令行和 Python API，用于下载权重、对话、微调、预训练、评估和部署。
litgpt 可以免费使用吗？用的什么许可证？
litgpt 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
litgpt 还在维护吗？
活跃维护中。litgpt 最近一次提交是在 2026年10月13日。
litgpt 适合用来做什么？
在特定领域的指令数据集上微调 Phi、Llama 等开源权重模型。 在没有框架封装的情况下阅读或修改 LLM 架构代码。 在显存有限的 GPU 上运行 4 位量化模型。 将微调后的检查点部署为 HTTP 推理接口。
litgpt 怎么安装和运行？
使用 pip 安装 LitGPT: pip install 'litgpt[extra]' 用 Python API 加载模型并生成文本(来自 README 示例)
在哪里获取 litgpt？
源代码和安装说明在 GitHub 上：https://github.com/Lightning-AI/litgpt

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目