Repolode
beam-cloud

beam-cloud/beta9

开源的 Serverless AI 运行时,提供 GPU 推理端点、沙箱和后台任务队列,支持缩容至零。

可替代:ModalReplicate

Star
1,826
Fork
171
未关闭 Issue
32
最近提交
2小时前

这是什么?

Beta9 是一个开源运行时,用于部署和扩缩 AI 工作负载,开发者无需自行管理基础设施。通过 Python 装饰器即可定义模型推理端点、后台任务队列或隔离的沙箱环境,容器调度与自动扩缩由运行时完成。

项目重点在于容器快速冷启动,采用自研的容器运行时、调度器和内置缓存。工作负载可并行扩展到大量容器,空闲时缩容至零,并支持挂载分布式存储卷。既可以使用 Beam 云端的 GPU,也可以接入自有 GPU,并支持自托管。

该仓库是 Beam 托管云平台的底层引擎,Python 客户端以 beam-client 发布。

核心功能

  • 01通过自研运行时与调度器实现秒级容器冷启动
  • 02可并行扩展到数百个容器
  • 03支持 A10G、H100 等 GPU 的自动扩缩推理端点
  • 04提供带重试机制的后台任务队列,可替代 Celery
  • 05提供隔离沙箱,用于运行 LLM 生成的代码
  • 06支持缩容至零和分布式存储卷挂载

适用场景

  • 将自定义机器学习模型部署为可自动扩缩的推理 API
  • 在隔离沙箱中运行不可信或 LLM 生成的代码
  • 用具备容错能力的后台任务替代 Celery 类队列
  • 在自有硬件上自托管 Serverless GPU 平台

标签

常见问题

beta9 是什么?
开源的 Serverless AI 运行时,提供 GPU 推理端点、沙箱和后台任务队列,支持缩容至零。 Beta9 是一个开源运行时,用于部署和扩缩 AI 工作负载,开发者无需自行管理基础设施。通过 Python 装饰器即可定义模型推理端点、后台任务队列或隔离的沙箱环境,容器调度与自动扩缩由运行时完成。
beta9 可以免费使用吗?用的什么许可证?
beta9 以 AGPL-3.0 许可证开源。用于商业产品前,请先确认许可证条款。
beta9 还在维护吗?
活跃维护中。beta9 最近一次提交是在 2026年10月19日。
beta9 适合用来做什么?
将自定义机器学习模型部署为可自动扩缩的推理 API 在隔离沙箱中运行不可信或 LLM 生成的代码 用具备容错能力的后台任务替代 Celery 类队列 在自有硬件上自托管 Serverless GPU 平台
在哪里获取 beta9?
源代码和安装说明在 GitHub 上:https://github.com/beam-cloud/beta9

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目