EleutherAI/gpt-neox

这是什么？

核心功能

• 01结合 ZeRO 与 3D 并行进行分布式训练
• 02内置 Pythia、PaLM、Falcon、LLaMA 等架构的预设配置
• 03支持 Flash Attention 与基于 megablocks 的混合专家模型
• 04可通过 Slurm、MPI 或 pdsh 在 NVIDIA 和 AMD GPU 上启动任务
• 05支持导出为 Hugging Face 格式，并可导入 Llama、Mistral 权重
• 06可接入 Weights & Biases、Comet 和 TensorBoard 监控实验

适用场景

• 在 GPU 集群上从零预训练自定义大语言模型
• 复现或扩展 Pythia 风格的训练实验
• 利用多节点并行微调 Llama 或 Mistral 权重
• 在 Slurm 或 HPC 超算上运行大规模训练任务

快速上手

1. 1

   在仓库根目录安装基础依赖

   pip install -r requirements/requirements.txt
2. 2

   使用配置文件启动训练任务(将路径替换为你自己的配置文件)

   python3 deepy.py train.py /path/to/configs/my_model.yml

使用前须知

• !该项目面向在GPU上训练大模型,需要较强的GPU硬件。
• !README指出如果你只需要推理,这可能不是合适的库,建议使用Hugging Face transformers。
• !主要在Python 3.8-3.10和PyTorch 1.8-2.0上开发和测试,并依赖DeepSpeed分支DeeperSpeed,建议在隔离环境中安装。

收录于专题

标签

常见问题

gpt-neox 是什么？

基于 Megatron 和 DeepSpeed 的 GPU 大规模自回归语言模型训练库，支持多种并行方式。 GPT-NeoX 是 EleutherAI 开发的 GPU 大规模自回归语言模型训练库，基于 NVIDIA 的 Megatron-LM，并融合了 DeepSpeed 的 ZeRO 与 3D 并行等技术。它面向需要从头预训练或微调数十亿参数模型的研究者和团队。

gpt-neox 可以免费使用吗？用的什么许可证？

gpt-neox 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

gpt-neox 还在维护吗？

活跃维护中。gpt-neox 最近一次提交是在 2026年11月4日。

gpt-neox 适合用来做什么？

在 GPU 集群上从零预训练自定义大语言模型 复现或扩展 Pythia 风格的训练实验 利用多节点并行微调 Llama 或 Mistral 权重 在 Slurm 或 HPC 超算上运行大规模训练任务

gpt-neox 怎么安装和运行？

在仓库根目录安装基础依赖: pip install -r requirements/requirements.txt 使用配置文件启动训练任务(将路径替换为你自己的配置文件): python3 deepy.py train.py /path/to/configs/my_model.yml

在哪里获取 gpt-neox？

源代码和安装说明在 GitHub 上：https://github.com/EleutherAI/gpt-neox