Repolode
hiyouga

hiyouga/LlamaFactory

统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。

Star
75,601
Fork
9,275
未关闭 Issue
1,197
最近提交
20小时前

这是什么?

LlamaFactory 是用于微调大语言模型和视觉语言模型的框架,覆盖 LLaMA、Qwen、Gemma、DeepSeek、GLM、Mistral 等多个模型系列及其多模态版本。用户既可以通过命令行,也可以通过名为 LLaMA Board 的浏览器界面完成训练,无需编写代码。

项目支持全参数微调、冻结微调、LoRA 以及量化的 QLoRA,并覆盖预训练、指令微调、奖励建模、PPO、DPO、KTO、ORPO、SimPO 等方法。同时集成了 FlashAttention-2、Unsloth、Liger Kernel 等显存与速度优化手段,以及 GaLore、BAdam、APOLLO 等优化算法。

训练完成后,模型可通过 OpenAI 风格的 API 提供服务,并可选用 vLLM 或 SGLang 作为推理后端。实验记录支持 TensorBoard、Wandb、MLflow 和 SwanLab。

核心功能

  • 01通过命令行或 LLaMA Board 网页界面零代码完成微调。
  • 02支持 100 多种模型系列的 LoRA、QLoRA 和全参数训练。
  • 03涵盖指令微调、奖励建模、PPO、DPO、KTO、ORPO、SimPO 等方法。
  • 04支持图像、视频、音频等多模态模型的训练。
  • 05可通过 OpenAI 风格 API 提供推理服务,后端支持 vLLM 或 SGLang。

适用场景

  • 在不编写训练代码的情况下,用领域数据微调 Qwen、Llama 等开源模型。
  • 在显存有限的 GPU 上对比 LoRA 与 QLoRA 的训练效果。
  • 使用 DPO 或 ORPO 训练偏好对齐模型。
  • 用自定义图文数据微调视觉语言模型。

标签

常见问题

LlamaFactory 是什么?
统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。 LlamaFactory 是用于微调大语言模型和视觉语言模型的框架,覆盖 LLaMA、Qwen、Gemma、DeepSeek、GLM、Mistral 等多个模型系列及其多模态版本。用户既可以通过命令行,也可以通过名为 LLaMA Board 的浏览器界面完成训练,无需编写代码。
LlamaFactory 可以免费使用吗?用的什么许可证?
LlamaFactory 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
LlamaFactory 还在维护吗?
活跃维护中。LlamaFactory 最近一次提交是在 2026年10月19日。
LlamaFactory 适合用来做什么?
在不编写训练代码的情况下,用领域数据微调 Qwen、Llama 等开源模型。 在显存有限的 GPU 上对比 LoRA 与 QLoRA 的训练效果。 使用 DPO 或 ORPO 训练偏好对齐模型。 用自定义图文数据微调视觉语言模型。
在哪里获取 LlamaFactory?
源代码和安装说明在 GitHub 上:https://github.com/hiyouga/LlamaFactory

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目