一个免费开源的大语言模型微调与后训练框架,通过 YAML 文件进行配置。
1.3万1637PythonApache-2.0更新于 4小时前
统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。
LlamaFactory 是用于微调大语言模型和视觉语言模型的框架,覆盖 LLaMA、Qwen、Gemma、DeepSeek、GLM、Mistral 等多个模型系列及其多模态版本。用户既可以通过命令行,也可以通过名为 LLaMA Board 的浏览器界面完成训练,无需编写代码。
项目支持全参数微调、冻结微调、LoRA 以及量化的 QLoRA,并覆盖预训练、指令微调、奖励建模、PPO、DPO、KTO、ORPO、SimPO 等方法。同时集成了 FlashAttention-2、Unsloth、Liger Kernel 等显存与速度优化手段,以及 GaLore、BAdam、APOLLO 等优化算法。
训练完成后,模型可通过 OpenAI 风格的 API 提供服务,并可选用 vLLM 或 SGLang 作为推理后端。实验记录支持 TensorBoard、Wandb、MLflow 和 SwanLab。
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
一个免费开源的大语言模型微调与后训练框架,通过 YAML 文件进行配置。
开源桌面应用与 Web 界面,可在本地运行、微调和导出大语言模型与扩散模型,并提供代码版训练库。
通过一份 YAML 配置完成 LLM 微调与后训练的命令行工具,支持在低显存消费级显卡上训练。
百余张原创架构图,系统图解大模型与强化学习核心算法。
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。