Repolode
tigrisdata

tigrisdata/tigrisfs

AIワークロード向けに、S3互換のオブジェクトストレージバケットをローカルディレクトリとしてマウントするFUSEファイルシステム。

代替できる製品:Amazon S3 Mountpoint

スター
245
フォーク
13
未解決の Issue
8
最終コミット
24 日前

これは何?

TigrisFSはFUSEを介して、S3またはS3互換のオブジェクトストレージバケットをローカルファイルシステムとしてマウントします。これにより、プログラムは通常のファイルパスを使ってバケット内のデータを読み書きできます。Goで実装されており、GeeseFSのフォークです。GeeseFSはGoofysから派生したプロジェクトです。S3をバックエンドとするFUSEファイルシステムでよく見られる、小さなファイルやメタデータ操作の性能上の課題に焦点を当て、並列処理と非同期リクエストで対処します。

Tigrisバックエンドにマウントした場合、TigrisFSはPOSIXパーミッション、特殊ファイル、シンボリックリンクをサポートします。また、ディレクトリの一覧取得時に小さなファイルの内容を自動で先読みし、一覧取得時にディレクトリデータをリージョンへプリフェッチできます。このプロジェクトでは、同梱していた古いAWS SDKを削除して依存関係を更新し、CIでrace detectorとリンターを実行しています。

インストール方法は、1行のインストールスクリプト、バケットのマウント用systemdユニットを含むビルド済みDEBおよびRPMパッケージ、macOS ARM64向けバイナリtarballから選べます。認証情報は、標準のAWS認証情報ファイルまたは環境変数から取得できます。

主な機能

  • 01FUSEを介してS3互換バケットをローカルファイルシステムのパスとしてマウントします。
  • 02並列処理と非同期処理により、小さなファイルやメタデータへのアクセスを高速化します。
  • 03TigrisバックエンドでPOSIXパーミッション、特殊ファイル、シンボリックリンクをサポートします。
  • 04ディレクトリの一覧取得時に小さなファイルの内容を自動で先読みします。
  • 05標準の設定ファイルまたは環境変数からAWS認証情報を読み込みます。
  • 06バケットのマウント用systemdユニットを含むDEB、RPM、バイナリパッケージを提供します。

ユースケース

  • オブジェクトストレージに保存したデータセットを、AIの学習や推論コードから直接ファイルとして扱う。
  • Linuxサーバーにクラウドバケットをマウントし、標準的なツールでファイルを操作する。
  • S3互換バケットの共有データを読み込む分散クラスタージョブを実行する。

クイックスタート

  1. 1

    READMEに記載されている公式のワンライナーインストールスクリプトを実行します

  2. 2

    AWSの設定ファイルまたは環境変数でS3の認証情報を設定します

  3. 3

    現在のユーザーとしてバケットをマウントします

    /usr/local/bin/tigrisfs <bucket> $HOME/mnt/tigrisfs/<bucket>

使う前に知っておきたいこと

  • READMEに記載されているビルド済みバイナリは、Linux amd64パッケージとmacOS ARM64のみを対象としています。
  • マウントにはS3互換の認証情報と、FUSEに対応したシステムが必要です。

トピック

よくある質問

tigrisfs とは?
AIワークロード向けに、S3互換のオブジェクトストレージバケットをローカルディレクトリとしてマウントするFUSEファイルシステム。 TigrisFSはFUSEを介して、S3またはS3互換のオブジェクトストレージバケットをローカルファイルシステムとしてマウントします。これにより、プログラムは通常のファイルパスを使ってバケット内のデータを読み書きできます。Goで実装されており、GeeseFSのフォークです。GeeseFSはGoofysから派生したプロジェクトです。S3をバックエンドとするFUSEファイルシステムでよく見られる、小さなファイルやメタデータ操作の性能上の課題に焦点を当て、並列処理と非同期リクエストで対処します。
tigrisfs は無料で使えますか?ライセンスは?
tigrisfs は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
tigrisfs は今もメンテナンスされていますか?
活発にメンテナンス中。tigrisfs の最終コミットは 2026年9月29日 です。
tigrisfs は何に使えますか?
オブジェクトストレージに保存したデータセットを、AIの学習や推論コードから直接ファイルとして扱う。 Linuxサーバーにクラウドバケットをマウントし、標準的なツールでファイルを操作する。 S3互換バケットの共有データを読み込む分散クラスタージョブを実行する。
tigrisfs のインストール方法は?
READMEに記載されている公式のワンライナーインストールスクリプトを実行します AWSの設定ファイルまたは環境変数でS3の認証情報を設定します 現在のユーザーとしてバケットをマウントします: /usr/local/bin/tigrisfs <bucket> $HOME/mnt/tigrisfs/<bucket>
tigrisfs はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/tigrisdata/tigrisfs

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト