Repolode
facebookincubator

facebookincubator/dynolog

Linux、CPU、GPU、PyTorchの学習メトリクスを出力し、オンデマンドでトレースを開始する軽量なテレメトリデーモン。

スター
388
フォーク
94
未解決の Issue
33
最終コミット
20 時間前

これは何?

Dynologは、常時パフォーマンス監視と詳細なプロファイリングの両方に対応した、CPUとGPUが混在するシステム向けの監視デーモンです。プロファイリングモードはデーモンへのRPCで有効化し、単一の`dyno`コマンドラインツールからローカルまたはリモートのホスト上のデーモンを操作できます。

CPU、ネットワーク、IO使用率を含むカーネルメトリクス、IntelおよびAMD CPUのLinux perf_eventによるハードウェアPMUカウンター、DCGM経由のNVIDIA GPUメトリクスを収集します。メトリクスは標準出力、OTLPエンドポイント、またはプラグイン可能なLoggerクラスを介してMeta社内のODSやScubaに出力できます。

PyTorchワークロードでは、PyTorch Profiler(v1.13.0以降)と連携し、多数のGPUにまたがるオンデマンドのトレース開始に対応します。Slurm管理下の分散学習ジョブで、連携してトレースを取得することも可能です。対応OSはLinuxのみで、RPMおよびDebianパッケージとソースビルドを利用できます。

主な機能

  • 01Linuxでカーネル、CPU、PMUのメトリクスを常時収集。
  • 02dyno CLIからリモートでPyTorch Profilerのトレースをオンデマンドで開始。
  • 03DCGM 2.xおよび3.xを介したNVIDIA GPUの監視。
  • 04OpenTelemetry互換のバックエンドへのOTLPメトリクス出力。
  • 05ODS、Scuba、OTLP、標準出力に対応するプラグイン可能なロガー。

ユースケース

  • 多数のGPUを使う大規模な分散PyTorch学習ジョブで、処理の遅いイテレーションをトレースする。
  • 本番環境のLinuxサーバーでCPU、ネットワーク、IOの状態を監視する。
  • NVIDIAデータセンターホストのGPUメトリクスを既存のオブザーバビリティ基盤に収集する。

クイックスタート

  1. 1

    リリースページから、お使いのディストリビューション用のリリースパッケージをダウンロードします

  2. 2

    Ubuntu または Debian に Debian パッケージをインストールします

    sudo dpkg -i dynolog_0.2.1-0-amd64.deb
  3. 3

    systemd で dynolog サービスを起動します

    sudo systemctl start dynolog
  4. 4

    dyno CLI を使ってデーモンが実行中であることを確認します

    dyno status

使う前に知っておきたいこと

  • Linux のみ対応しています。Linux 以外のプラットフォームはサポートされていません。
  • GPU モニタリングは NVIDIA GPU のみで動作し、DCGM を別途インストールする必要があります。
  • GPU トレースの収集には PyTorch v1.13.0 または互換バージョンが必要です。

収録されている特集

トピック

よくある質問

dynolog とは?
Linux、CPU、GPU、PyTorchの学習メトリクスを出力し、オンデマンドでトレースを開始する軽量なテレメトリデーモン。 Dynologは、常時パフォーマンス監視と詳細なプロファイリングの両方に対応した、CPUとGPUが混在するシステム向けの監視デーモンです。プロファイリングモードはデーモンへのRPCで有効化し、単一の`dyno`コマンドラインツールからローカルまたはリモートのホスト上のデーモンを操作できます。
dynolog は無料で使えますか?ライセンスは?
dynolog は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
dynolog は今もメンテナンスされていますか?
活発にメンテナンス中。dynolog の最終コミットは 2026年11月7日 です。
dynolog は何に使えますか?
多数のGPUを使う大規模な分散PyTorch学習ジョブで、処理の遅いイテレーションをトレースする。 本番環境のLinuxサーバーでCPU、ネットワーク、IOの状態を監視する。 NVIDIAデータセンターホストのGPUメトリクスを既存のオブザーバビリティ基盤に収集する。
dynolog のインストール方法は?
リリースページから、お使いのディストリビューション用のリリースパッケージをダウンロードします Ubuntu または Debian に Debian パッケージをインストールします: sudo dpkg -i dynolog_0.2.1-0-amd64.deb systemd で dynolog サービスを起動します: sudo systemctl start dynolog dyno CLI を使ってデーモンが実行中であることを確認します: dyno status
dynolog はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/facebookincubator/dynolog

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト