Repolode
投稿する
Lightning-AI

Lightning-AI/litData

モデル学習中にクラウドやローカルストレージから高速にストリーミングできるよう、データセットをチャンク形式に最適化するPythonライブラリ。

GitHub で見る
スター
617
フォーク
111
未解決の Issue
53
最終コミット
6 日前

これは何？

LitDataは、データの読み込みが遅くてモデルの学習が滞る問題に対処します。大規模なデータセットや数百万もの小さなファイル、クラウドからの読み込みの遅さによってGPUが待ち状態になることがあります。LitDataは、データセットを独自のチャンク化されたバイナリ形式に前処理し、S3、GCS、Azure、R2、Hugging Face Hub、ローカルディスクから効率よくストリーミングするためのツールを提供します。

用途に応じて複数の方法を選べます。画像、音声、JSONLなどの生ファイルは、変換せずにStreamingRawDatasetと通常のPyTorch DataLoaderで直接ストリーミングできます。最大限のスループットが必要な場合は、optimize()でデータをチャンクに変換し、StreamingDatasetとStreamingDataLoaderで読み込みます。シャッフル、drop_last、中断後のストリーミング再開にも対応しています。また、map()オペレーターを使うと、画像のリサイズ、埋め込みの作成、推論の実行など、汎用的な処理ジョブを複数のマシンに分散できます。

LitDataには、Hugging Faceのデータセット用ヘルパー、画像・音声・動画・PDF向けの型付きラッパー、カスタムシリアライザー、PyTorch Geometricのグラフサポートも含まれています。

主な機能

  • 01データセットをストリーミングに最適化されたチャンク化バイナリ形式に変換します。
  • 02S3、GCS、Azure、R2、Hugging Face Hub、ローカルパスからのストリーミングに対応します。
  • 03画像や音声などの生ファイルを前処理なしでストリーミングできます。
  • 04エポックの途中でデータストリーミングを一時停止し、再開できます。
  • 05複数のマシンで並列処理するためのmapオペレーターを提供します。

ユースケース

  • ローカルディスクに収まらないデータセットを、クラウドストレージからストリーミングして学習する。
  • 数百万もの小さな画像ファイルをチャンク化データに置き換え、I/Oのオーバーヘッドを減らす。
  • 学習前に画像のリサイズや埋め込みの生成などの前処理を分散実行する。
  • Hugging Faceのデータセットを高速な形式で読み込み、学習を繰り返し実行する。

クイックスタート

  1. 1

    pipでLitDataをインストールする

    pip install litdata
  2. 2

    既存のファイルをStreamingRawDatasetで直接ストリーミングするか、データセットをチャンクに最適化してStreamingDatasetで利用します

使う前に知っておきたいこと

  • PyTorch 2.4以降が必要です。
  • 最速でストリーミングするには、事前に一度だけデータを最適化する必要があります。

トピック

#pytorch#data-loading#streaming#deep-learning#machine-learning#cloud-storage#data-processing

よくある質問

litData とは？
モデル学習中にクラウドやローカルストレージから高速にストリーミングできるよう、データセットをチャンク形式に最適化するPythonライブラリ。 LitDataは、データの読み込みが遅くてモデルの学習が滞る問題に対処します。大規模なデータセットや数百万もの小さなファイル、クラウドからの読み込みの遅さによってGPUが待ち状態になることがあります。LitDataは、データセットを独自のチャンク化されたバイナリ形式に前処理し、S3、GCS、Azure、R2、Hugging Face Hub、ローカルディスクから効率よくストリーミングするためのツールを提供します。
litData は無料で使えますか？ライセンスは？
litData は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
litData は今もメンテナンスされていますか？
活発にメンテナンス中。litData の最終コミットは 2026年10月15日 です。
litData は何に使えますか？
ローカルディスクに収まらないデータセットを、クラウドストレージからストリーミングして学習する。 数百万もの小さな画像ファイルをチャンク化データに置き換え、I/Oのオーバーヘッドを減らす。 学習前に画像のリサイズや埋め込みの生成などの前処理を分散実行する。 Hugging Faceのデータセットを高速な形式で読み込み、学習を繰り返し実行する。
litData のインストール方法は？
pipでLitDataをインストールする: pip install litdata 既存のファイルをStreamingRawDatasetで直接ストリーミングするか、データセットをチャンクに最適化してStreamingDatasetで利用します
litData はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Lightning-AI/litData

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト