Repolode
投稿する
NVIDIA

NVIDIA/DALI

深層学習の学習と推論を高速化する、画像・動画・音声データの読み込みと前処理をGPUで高速化するライブラリです。

GitHub で見る公式サイト
スター
5,792
フォーク
691
未解決の Issue
222
最終コミット
23 時間前

これは何？

NVIDIA DALI (Data Loading Library) は、深層学習向けのデータ読み込みと前処理をCPUからGPUに移します。パイプラインでは、画像・動画・音声データのデコード、クロップ、リサイズなどの処理や各種拡張を行えます。また、組み込みの実行エンジンがプリフェッチ、並列実行、バッチ処理を担います。

パイプラインは関数型のPython APIで記述でき、TensorFlow、PyTorch、PaddlePaddle、JAXのデータローダーやイテレーターをそのまま置き換える形で利用できます。LMDB、RecordIO、TFRecord、COCO、JPEG、JPEG 2000、WAV、FLAC、OGG、H.264、VP9、HEVCなどの形式を読み込めます。また、GPUDirect Storageを使ってストレージからGPUメモリへ直接読み込むこともできます。

DALIは専用バックエンドを通じてNVIDIA Triton Inference Serverとも連携し、プロジェクト固有の処理ステップに対応するカスタムオペレーターもサポートしています。

主な機能

  • 01データ処理パイプラインを構築するための関数型Python API。
  • 02デコードとデータ拡張をCPUまたはGPUで実行でき、複数GPUへのスケーリングにも対応。
  • 03JPEG、TFRecord、COCO、WAV、H.264など、多数の形式を読み込み可能。
  • 04TensorFlow、PyTorch、PaddlePaddle、JAXのデータローダーを置き換える形で利用可能。
  • 05カスタムオペレーターとGPUDirect Storageに対応。

ユースケース

  • 画像分類や物体検出の学習におけるCPUのボトルネックを解消する。
  • TensorFlowとPyTorchのプロジェクトで同じ前処理パイプラインを実行する。
  • Triton Inference Server上でモデルと併せて前処理を提供する。
  • 音声・視覚モデル向けに、音声または動画のデータセットを読み込んで拡張する。

クイックスタート

  1. 1

    pipでCUDA 12向けの最新のDALIリリースをインストールします

    pip install nvidia-dali-cuda120
  2. 2

    CUDA 12に対応したNVIDIAドライバーとCUDA Toolkitがインストールされていることを確認します

  3. 3

    ドキュメントの「Getting Started」ガイドに従ってください

使う前に知っておきたいこと

  • 互換性のあるドライバーとCUDA Toolkitを備えたNVIDIA GPUが必要です。
  • その他のインストール方法や古いCUDAバージョンについては、別途「Installation Guide」を参照してください。

収録されている特集

GPU で AI を学習・実行するツールコンピュータービジョンのライブラリとツール

トピック

#deep-learning#gpu#data-augmentation#data-processing#image-processing#pytorch#tensorflow#audio-processing#fast-data-pipeline#gpu-tensorflow

よくある質問

DALI とは？
深層学習の学習と推論を高速化する、画像・動画・音声データの読み込みと前処理をGPUで高速化するライブラリです。 NVIDIA DALI (Data Loading Library) は、深層学習向けのデータ読み込みと前処理をCPUからGPUに移します。パイプラインでは、画像・動画・音声データのデコード、クロップ、リサイズなどの処理や各種拡張を行えます。また、組み込みの実行エンジンがプリフェッチ、並列実行、バッチ処理を担います。
DALI は無料で使えますか？ライセンスは？
DALI は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DALI は今もメンテナンスされていますか？
活発にメンテナンス中。DALI の最終コミットは 2026年11月6日 です。
DALI は何に使えますか？
画像分類や物体検出の学習におけるCPUのボトルネックを解消する。 TensorFlowとPyTorchのプロジェクトで同じ前処理パイプラインを実行する。 Triton Inference Server上でモデルと併せて前処理を提供する。 音声・視覚モデル向けに、音声または動画のデータセットを読み込んで拡張する。
DALI のインストール方法は？
pipでCUDA 12向けの最新のDALIリリースをインストールします: pip install nvidia-dali-cuda120 CUDA 12に対応したNVIDIAドライバーとCUDA Toolkitがインストールされていることを確認します ドキュメントの「Getting Started」ガイドに従ってください
DALI はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/DALI

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト