统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。
7.6万9275PythonApache-2.0更新于 昨天
一个免费开源的大语言模型微调与后训练框架,通过 YAML 文件进行配置。
Axolotl 是一个用于大语言模型微调与后训练的框架,覆盖从数据集预处理、训练、评估、量化到推理的完整流程,每个环节都可以由同一个 YAML 配置文件控制。
它支持全量微调、LoRA、QLoRA、GPTQ、QAT,以及 DPO、KTO、ORPO、GRPO 等偏好优化和强化学习方法。模型覆盖 Hugging Face Hub 上的多个主流系列,也包括视觉语言模型和音频模型;数据集可以来自本地、Hugging Face,或 S3、Azure、GCP、OCI 等云存储。
在性能方面,它集成了 multipacking、Flash Attention、Liger Kernel、FSDP2 和 DeepSpeed 多卡训练,并支持通过 Torchrun 或 Ray 进行多机训练。项目提供 Docker 镜像和 PyPI 包,便于在云端或本地环境部署。
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。
通过一份 YAML 配置完成 LLM 微调与后训练的命令行工具,支持在低显存消费级显卡上训练。
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
用 PyTorch 从零实现的 Transformer 大模型训练教程与代码库,涵盖预训练、SFT、奖励模型、DPO/PPO/GRPO 与文本生成。
百余张原创架构图,系统图解大模型与强化学习核心算法。
面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。