Repolode
bacalhau-project

bacalhau-project/bacalhau

开源分布式计算编排框架,将计算任务调度到数据所在位置执行,减少大数据迁移。

Star
874
Fork
105
未关闭 Issue
5
最近提交
前天

这是什么?

Bacalhau 是一个开源的分布式计算编排框架,核心理念是把计算搬到数据所在的地方执行,而不是把大规模数据集在网络间来回传输,从而降低延迟、带宽占用和出口流量成本。

项目以单个自包含二进制文件发布,同一个程序可同时充当客户端、编排器和计算节点。任务可运行在 Docker 或 WebAssembly 引擎中,从 S3、HTTP/HTTPS、IPFS 或本地存储读取数据,并把结果发布回这些存储后端。任务既可以用 YAML 声明式定义,也可以通过 CLI 命令式提交,支持 batch、ops、daemon 和 service 四种任务类型。

它适用于数据量大、敏感或分散分布的场景,例如日志处理、跨地域数据分析和边缘计算,尤其适合数据需要留在自身安全边界内的情况。

核心功能

  • 01单一二进制文件,同时承担客户端、编排器和计算节点角色
  • 02支持 Docker 与 WebAssembly 两种执行引擎
  • 03可从 S3、HTTP/HTTPS、IPFS 和本地存储读取数据
  • 04支持 batch、ops、daemon、service 四种任务类型
  • 05既支持 YAML 声明式提交,也支持 CLI 命令式提交

适用场景

  • 在日志产生的源头直接处理,无需集中传输
  • 跨多个地区的数据查询与分析
  • 在数据产生的位置运行机器学习训练或推理
  • 在敏感数据不能离开本地的前提下执行经过审核的计算

快速上手

  1. 1

    安装 Bacalhau 命令行工具(Linux/macOS)

    按 README 中的官方说明安装
  2. 2

    验证安装是否成功

    bacalhau version

使用前须知

  • 快速安装脚本仅适用于 Linux 和 macOS。
  • 首次运行任务的步骤需参考外部文档,README 中未直接给出。

标签

常见问题

bacalhau 是什么?
开源分布式计算编排框架,将计算任务调度到数据所在位置执行,减少大数据迁移。 Bacalhau 是一个开源的分布式计算编排框架,核心理念是把计算搬到数据所在的地方执行,而不是把大规模数据集在网络间来回传输,从而降低延迟、带宽占用和出口流量成本。
bacalhau 可以免费使用吗?用的什么许可证?
bacalhau 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
bacalhau 还在维护吗?
活跃维护中。bacalhau 最近一次提交是在 2026年10月18日。
bacalhau 适合用来做什么?
在日志产生的源头直接处理,无需集中传输 跨多个地区的数据查询与分析 在数据产生的位置运行机器学习训练或推理 在敏感数据不能离开本地的前提下执行经过审核的计算
bacalhau 怎么安装和运行?
安装 Bacalhau 命令行工具(Linux/macOS) 验证安装是否成功: bacalhau version
在哪里获取 bacalhau?
源代码和安装说明在 GitHub 上:https://github.com/bacalhau-project/bacalhau

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目