Repolode
bacalhau-project

bacalhau-project/bacalhau

大規模データセットをネットワーク越しに移動せず、データのある場所で計算ジョブを実行するオープンソースフレームワーク。

スター
874
フォーク
105
未解決の Issue
5
最終コミット
一昨日

これは何?

Bacalhauは、計算処理をデータのある場所に持ち込むという考え方を基盤とした、オープンソースの分散コンピューティングオーケストレーションフレームワークです。大規模なデータセットをネットワーク越しに転送する代わりに、データが生成または保存されている場所の近くでジョブを実行するため、レイテンシ、帯域幅の使用量、データ転送コストを抑えられます。

クライアント、オーケストレーター、計算ノードとして機能する、単体で動作するバイナリとして提供されています。ジョブはDockerまたはWebAssemblyの実行エンジンで動作し、S3、HTTP/HTTPS、IPFS、ローカルボリュームなどのストレージからデータを読み込み、結果を同じバックエンドに書き戻せます。ジョブはYAMLで宣言的に定義するか、CLIから命令的に送信でき、batch、ops、daemon、serviceの各ジョブタイプに対応しています。

Bacalhauは、ログ処理、マルチリージョン分析、エッジ環境へのデプロイなど、データのサイズが大きい、機密性が高い、または分散しているワークロードを対象としています。また、データをそれぞれのセキュリティ境界内にとどめる必要がある用途にも適しています。

主な機能

  • 01クライアント、オーケストレーター、計算ノードとして機能する単一バイナリ
  • 02DockerまたはWebAssemblyの実行エンジンでジョブを実行
  • 03S3、HTTP/HTTPS、IPFS、ローカルストレージからデータを読み込み
  • 04batch、ops、daemon、serviceの各ジョブタイプに対応
  • 05宣言的なYAMLまたは命令的なCLI引数でジョブを指定

ユースケース

  • ログを中央クラスターに送るのではなく、発生源で処理
  • 複数リージョンに分散したデータのクエリや分析
  • データの生成場所に近いところでMLの学習や推論を実行
  • 施設外に持ち出せない機密データに対し、審査済みの計算処理を実行

クイックスタート

  1. 1

    Bacalhau CLI をインストールする(Linux/macOS)

    README の公式手順に従ってインストール
  2. 2

    インストールを確認する

    bacalhau version

使う前に知っておきたいこと

  • クイックインストールスクリプトの対象は Linux と macOS のみです。
  • 最初のジョブの実行方法については README から外部ドキュメントに案内されているため、インストール後のセットアップはここでは説明していません。

トピック

よくある質問

bacalhau とは?
大規模データセットをネットワーク越しに移動せず、データのある場所で計算ジョブを実行するオープンソースフレームワーク。 Bacalhauは、計算処理をデータのある場所に持ち込むという考え方を基盤とした、オープンソースの分散コンピューティングオーケストレーションフレームワークです。大規模なデータセットをネットワーク越しに転送する代わりに、データが生成または保存されている場所の近くでジョブを実行するため、レイテンシ、帯域幅の使用量、データ転送コストを抑えられます。
bacalhau は無料で使えますか?ライセンスは?
bacalhau は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
bacalhau は今もメンテナンスされていますか?
活発にメンテナンス中。bacalhau の最終コミットは 2026年10月18日 です。
bacalhau は何に使えますか?
ログを中央クラスターに送るのではなく、発生源で処理 複数リージョンに分散したデータのクエリや分析 データの生成場所に近いところでMLの学習や推論を実行 施設外に持ち出せない機密データに対し、審査済みの計算処理を実行
bacalhau のインストール方法は?
Bacalhau CLI をインストールする(Linux/macOS) インストールを確認する: bacalhau version
bacalhau はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/bacalhau-project/bacalhau

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト