Repolode
提交项目
stochasticai

stochasticai/xTuring

一个 Python 库，用于在自有数据上微调、评估和运行 LLaMA、GPT-J、GPT-OSS 等开源大模型，可本地或私有云部署。

在 GitHub 查看官网
Star
2,679
Fork
209
未关闭 Issue
10
最近提交
前天

这是什么？

xTuring 是一个 Python 库，用于在自有数据上微调开源大语言模型。它通过统一的高层 API 完成数据准备、训练和推理，开发者无需自己编写训练循环。

它支持 GPT-OSS、LLaMA 与 LLaMA 2、Qwen3、Mistral、MiniMax M2、GPT-J、GPT-2、DistilGPT-2、Mamba 等多个模型系列。微调时可使用 LoRA，或借助 INT8、INT4 低精度加载来降低显存和算力需求。模型可用困惑度（perplexity）进行评估，项目还提供基于 Gradio 的 UI 和命令行工具，方便与微调后的模型对话。

该库设计为可在本地或私有 VPC 中运行，训练数据无需离开用户自己的基础设施。

核心功能

  • 01统一的 API，覆盖数据准备、微调和文本生成
  • 02提供 LoRA、INT8、INT4 等版本，降低显存与算力开销
  • 03支持基于困惑度的因果语言模型评估
  • 04可借助 self-instruct 及 OpenAI、Cohere、Claude 等接口生成训练数据
  • 05提供 xturing chat 命令行对话和 Gradio 界面，便于测试微调模型

适用场景

  • 在不把数据交给第三方的前提下，将开源大模型适配到企业内部文档
  • 在笔记本上用 Qwen3 0.6B 等小模型快速做微调实验
  • 在同一数据集上对比 LoRA、INT8 等微调方式的效果
  • 用本地模型生成指令数据，用于后续训练

快速上手

  1. 1

    从 PyPI 安装 xTuring

    pip install xturing
  2. 2

    使用 Qwen3 0.6B LoRA 模型运行小型 CPU 友好的微调示例

使用前须知

  • 微调 GPT-OSS 等大型模型需要大量 GPU 资源。
  • xTuring 需要 transformers>=4.36.0，目前不能升级到 transformers 5.x。

标签

#llm#fine-tuning#lora#quantization#gen-ai#language-model#peft#deep-learning#adapter#finetuning

常见问题

xTuring 是什么？
一个 Python 库，用于在自有数据上微调、评估和运行 LLaMA、GPT-J、GPT-OSS 等开源大模型，可本地或私有云部署。 xTuring 是一个 Python 库，用于在自有数据上微调开源大语言模型。它通过统一的高层 API 完成数据准备、训练和推理，开发者无需自己编写训练循环。
xTuring 可以免费使用吗？用的什么许可证？
xTuring 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
xTuring 还在维护吗？
活跃维护中。xTuring 最近一次提交是在 2026年11月5日。
xTuring 适合用来做什么？
在不把数据交给第三方的前提下，将开源大模型适配到企业内部文档 在笔记本上用 Qwen3 0.6B 等小模型快速做微调实验 在同一数据集上对比 LoRA、INT8 等微调方式的效果 用本地模型生成指令数据，用于后续训练
xTuring 怎么安装和运行？
从 PyPI 安装 xTuring: pip install xturing 使用 Qwen3 0.6B LoRA 模型运行小型 CPU 友好的微调示例
在哪里获取 xTuring？
源代码和安装说明在 GitHub 上：https://github.com/stochasticai/xTuring

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目