stas00/ml-engineering

これは何？

主な機能

• 01大規模学習向けに、アクセラレーター、CPUメモリ、ストレージ、ノード間ネットワークを解説
• 02SLURMのチートシートとオーケストレーションのガイドを収録
• 03ネットワークスループットのベンチマークやノード間接続のテストに使えるツールを提供
• 04ハングまたは失敗するPyTorchアプリケーションのデバッグ手順を紹介
• 05クラウドプロバイダーの選定やGPUアップグレードの判断に役立つガイドを提供

ユースケース

• LLM学習用のマルチノードGPUクラスターを構築・運用する
• ハングまたはクラッシュする分散PyTorch学習ジョブをデバッグする
• GPU世代のアップグレードが費用対効果に見合うかを見積もる
• 新たに納入されたGPUクラスターの受け入れテストを準備する

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/stas00/ml-engineering
2. 2

   本の目次を開き、必要なガイドを読む（本はMarkdownファイルで構成されているため、インストールは不要です）

使う前に知っておきたいこと

• !インストール可能なソフトウェアではなく、メモやガイドをまとめたものなので、実行するものはありません。
• !内容は主に、著者が特定の大規模トレーニングプロジェクトで得た個人的な経験に基づいています。

トピック

よくある質問

ml-engineering とは？

大規模言語モデルやマルチモーダルモデルの学習、ファインチューニング、推論実行に役立つ手法、スクリプト、手順をまとめたオープンな書籍。 大規模言語モデルやマルチモーダルモデルの学習とファインチューニング、推論実行のための手法、ツール、手順をまとめたオープンなコレクションです。LLMやVLMの学習エンジニアと運用担当者を対象としており、そのままコピーして使えるコマンドやスクリプトを多数収録しています。

ml-engineering は無料で使えますか？ライセンスは？

ml-engineering は CC-BY-SA-4.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ml-engineering は今もメンテナンスされていますか？

活発にメンテナンス中。ml-engineering の最終コミットは 2026年10月16日 です。

ml-engineering は何に使えますか？

LLM学習用のマルチノードGPUクラスターを構築・運用する ハングまたはクラッシュする分散PyTorch学習ジョブをデバッグする GPU世代のアップグレードが費用対効果に見合うかを見積もる 新たに納入されたGPUクラスターの受け入れテストを準備する

ml-engineering のインストール方法は？

リポジトリをクローンする: git clone https://github.com/stas00/ml-engineering 本の目次を開き、必要なガイドを読む（本はMarkdownファイルで構成されているため、インストールは不要です）

ml-engineering はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/stas00/ml-engineering