deepspeedai / DeepSpeedGitHub面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。AI 与机器学习#deep-learning#distributed-training#pytorch#gpu#model-parallelism4.3万5048PythonApache-2.0更新于 23小时前
NVIDIA / Megatron-LMGitHub面向大规模 Transformer 模型训练的 GPU 优化库与参考训练脚本,支持多维并行。AI 与机器学习#large-language-models#distributed-training#transformers#model-parallelism#gpu1.8万4645PythonOther更新于 3小时前