Repolode
提交项目
modelscope

modelscope/ms-swift

面向 600 多个大语言模型和 400 多个多模态模型的微调、训练、推理与部署框架。

在 GitHub 查看官网
Star
15,903
Fork
1,747
未关闭 Issue
601
最近提交
2小时前

这是什么？

ms-swift 是 ModelScope 社区提供的大模型与多模态大模型微调、对齐、评测、量化和部署框架。它支持预训练、监督微调，以及 DPO、KTO、ORPO 等偏好对齐方法，还包含 GRPO、DAPO、GSPO、RLOO 等强化学习算法，并支持 Embedding、Reranker 和序列分类任务。

框架提供命令行工具（如 swift sft、swift rlhf、swift infer、swift deploy）、基于 Gradio 的 Web-UI 以及 Python API。训练方式包括 LoRA、QLoRA、DoRA 和全参数微调，可结合 DeepSpeed、FSDP 或 Megatron 并行策略（TP、PP、CP、EP）。推理和部署可基于 Transformers、vLLM、SGLang 或 LMDeploy，模型导出支持 AWQ、GPTQ、FP8 和 BNB 量化。

硬件方面支持 NVIDIA CUDA、AMD ROCm、昇腾 NPU、沐曦、摩尔线程、Apple MPS 和 CPU。数据集可从 ModelScope 或 Hugging Face 获取，也支持自定义数据。

核心功能

  • 01支持监督微调、预训练、DPO/KTO/ORPO 偏好对齐以及 GRPO 系列强化学习。
  • 02支持 LoRA、QLoRA、DoRA 和全参数训练，并可结合 DeepSpeed、FSDP 与 Megatron 并行。
  • 03推理与部署可基于 Transformers、vLLM、SGLang 或 LMDeploy，提供 OpenAI 兼容接口。
  • 04支持导出 AWQ、GPTQ、FP8 和 BNB 量化模型。
  • 05提供命令行工具、Gradio Web-UI 和 Python API 三种使用方式。

适用场景

  • 在单张 GPU 上用自定义指令数据微调 Qwen、Llama 等开源模型。
  • 基于图像、视频或音频数据训练多模态模型。
  • 借助 vLLM 加速运行 GRPO 强化学习，用于推理或智能体任务。
  • 训练用于检索流程的 Embedding 或 Reranker 模型。

使用前须知

  • 训练大模型需要较多显存，README 提到即使使用量化，训练 7B 模型也约需 9GB 资源。

标签

#llm#fine-tuning#multimodal#lora#reinforcement-learning#grpo#model-deployment#peft#deepseek#embedding

常见问题

ms-swift 是什么？
面向 600 多个大语言模型和 400 多个多模态模型的微调、训练、推理与部署框架。 ms-swift 是 ModelScope 社区提供的大模型与多模态大模型微调、对齐、评测、量化和部署框架。它支持预训练、监督微调，以及 DPO、KTO、ORPO 等偏好对齐方法，还包含 GRPO、DAPO、GSPO、RLOO 等强化学习算法，并支持 Embedding、Reranker 和序列分类任务。
ms-swift 可以免费使用吗？用的什么许可证？
ms-swift 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
ms-swift 还在维护吗？
活跃维护中。ms-swift 最近一次提交是在 2026年10月21日。
ms-swift 适合用来做什么？
在单张 GPU 上用自定义指令数据微调 Qwen、Llama 等开源模型。 基于图像、视频或音频数据训练多模态模型。 借助 vLLM 加速运行 GRPO 强化学习，用于推理或智能体任务。 训练用于检索流程的 Embedding 或 Reranker 模型。
在哪里获取 ms-swift？
源代码和安装说明在 GitHub 上：https://github.com/modelscope/ms-swift

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目