PyTorchとTritonを基盤に、3D並列処理、ZeROによるメモリ最適化、Hugging Face連携を備えた大規模言語モデルの学習用オープンソースライブラリ。
33753PythonOther更新 6 日前
#zero-optimizer
zero-optimizer に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
PyTorchとTritonを基盤に、3D並列処理、ZeROによるメモリ最適化、Hugging Face連携を備えた大規模言語モデルの学習用オープンソースライブラリ。