georgian-io/LLM-Finetuning-Toolkit

这是什么？

核心功能

• 01在一份 YAML 文件中统一定义提示词、模型、LoRA 参数和质量测试。
• 02对提示词模板、模型和 LoRA 参数列表进行消融实验，自动遍历组合。
• 03支持从 Hugging Face、JSON 或 CSV 文件加载数据集。
• 04支持 4 比特量化，并可为兼容模型启用 Flash Attention 2。
• 05按配置哈希缓存结果，中断后可继续运行。
• 06内置长度、词重叠等输出质量测试。

适用场景

• 在同一微调数据集上横向比较多个开源基座模型。
• 测试哪种提示词模板或 LoRA 配置对特定任务效果最好。
• 检查摘要模型的输出是否比输入更短。
• 通过版本化的配置文件复现微调实验。

快速上手

1. 1

   使用 pipx 安装工具包（推荐）

   pipx install llm-toolkit
2. 2

   生成入门配置文件

   llmtune generate config
3. 3

   使用该配置运行微调实验

   llmtune run ./config.yml

使用前须知

• !Flash Attention 2 需要单独手动安装，并且需要兼容的 GPU。
• !微调 Llama-2 7B 等模型对资源要求较高，且依赖 Hugging Face 的模型访问。

收录于专题

标签

常见问题

LLM-Finetuning-Toolkit 是什么？

基于配置文件的命令行工具，用于批量运行和对比开源大模型的微调实验。 LLM Finetuning Toolkit 是一个基于配置文件的命令行工具，通过一份 YAML 文件即可驱动一系列大模型微调实验。配置中可以统一设置提示词模板、基座模型、优化策略（如 LoRA 的 rank 和 dropout、通过 bitsandbytes 实现的 4 比特量化）以及训练后的质量检测。模型可以指定任意 Hugging Face 上的开源 LLM，数据可以来自 Hugging Face，也可以使用本地 JSON 或 CSV 文件。

LLM-Finetuning-Toolkit 可以免费使用吗？用的什么许可证？

LLM-Finetuning-Toolkit 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

LLM-Finetuning-Toolkit 还在维护吗？

活跃维护中。LLM-Finetuning-Toolkit 最近一次提交是在 2026年10月22日。

LLM-Finetuning-Toolkit 适合用来做什么？

在同一微调数据集上横向比较多个开源基座模型。 测试哪种提示词模板或 LoRA 配置对特定任务效果最好。 检查摘要模型的输出是否比输入更短。 通过版本化的配置文件复现微调实验。

LLM-Finetuning-Toolkit 怎么安装和运行？

使用 pipx 安装工具包（推荐）: pipx install llm-toolkit 生成入门配置文件: llmtune generate config 使用该配置运行微调实验: llmtune run ./config.yml

在哪里获取 LLM-Finetuning-Toolkit？

源代码和安装说明在 GitHub 上：https://github.com/georgian-io/LLM-Finetuning-Toolkit