基于 Rust 网络层与 Python 接口的机器学习模型服务框架,支持动态批处理和 CPU/GPU 流水线。
modular/modular
Modular 平台的开源仓库,包含 MAX AI 框架与 Mojo 编程语言,用于 AI 模型开发与部署。
- Star
- 30,108
- Fork
- 3,237
- 未关闭 Issue
- 1,132
- 最近提交
- 前天
这是什么?
该仓库托管 Modular 平台的开源组件。Modular 是一个面向 AI 模型开发与部署的统一平台,主要包括 MAX 框架和 Mojo 编程语言。MAX 用于编写、运行和服务化模型,Mojo 则面向高性能计算,并可与 Python 配合使用。
仓库包含 Mojo 编译器与标准库、MAX 的 GPU 编程抽象、用 Mojo 编写的加速器计算内核、MAX 图编译器与运行时,以及基于 Python 的模型流水线和兼容 OpenAI 接口的推理服务器。官方表示会逐步开源更多组件,部分模块目前仍未开放源码。
开发者可以通过仓库内的 Bazel 封装命令运行 Mojo 文件,或用模型生成文本,其中 MAX 模型推理需要兼容的 GPU。Mojo 及大部分代码采用 Apache 2.0 with LLVM Exceptions 许可,MAX 的部分代码使用单独的许可证。
核心功能
- 01包含 Mojo 编译器与标准库源码
- 02提供基于 Python 的 MAX AI 框架,用于编写模型
- 03提供 MAX 的 GPU 编程抽象与 Mojo 计算内核
- 04内置兼容 OpenAI 接口的推理服务器
- 05提供基于 MAX 框架构建的模型流水线
适用场景
- 在兼容的 GPU 上运行开源模型并生成文本
- 将模型部署为兼容 OpenAI 接口的 API 服务
- 使用 Mojo 编写高性能 GPU 或加速器内核
- 研究 AI 编译器与运行时的底层实现
快速上手
- 1
在代码仓库中工作
- 2
用 Bazel 包装脚本运行 Mojo 示例 hello
./bazelw run //Mojo:mojo -- Mojo/examples/hello.mojo - 3
用模型生成文本(需要兼容的 GPU)
./bazelw run //max/python/max/_entrypoints:pipelines -- generate --model Qwen/Qwen3.5-0.8B --max-batch-size 1 --max-length 10000 --prompt "The sky is blue because"
使用前须知
- MAX 文本生成需要兼容的 GPU。
- 目前只开源了部分组件,平台其余部分不在本仓库中。
- 许可证分为多部分:MAX 的部分代码适用单独的 MAX 许可证,第三方模型需要另行核查许可。
收录于专题
标签
常见问题
- modular 是什么?
- Modular 平台的开源仓库,包含 MAX AI 框架与 Mojo 编程语言,用于 AI 模型开发与部署。 该仓库托管 Modular 平台的开源组件。Modular 是一个面向 AI 模型开发与部署的统一平台,主要包括 MAX 框架和 Mojo 编程语言。MAX 用于编写、运行和服务化模型,Mojo 则面向高性能计算,并可与 Python 配合使用。
- modular 可以免费使用吗?用的什么许可证?
- modular 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- modular 还在维护吗?
- 活跃维护中。modular 最近一次提交是在 2026年11月5日。
- modular 适合用来做什么?
- 在兼容的 GPU 上运行开源模型并生成文本 将模型部署为兼容 OpenAI 接口的 API 服务 使用 Mojo 编写高性能 GPU 或加速器内核 研究 AI 编译器与运行时的底层实现
- modular 怎么安装和运行?
- 在代码仓库中工作 用 Bazel 包装脚本运行 Mojo 示例 hello: ./bazelw run //Mojo:mojo -- Mojo/examples/hello.mojo 用模型生成文本(需要兼容的 GPU): ./bazelw run //max/python/max/_entrypoints:pipelines -- generate --model Qwen/Qwen3.5-0.8B --max-batch-size 1 --max-length 10000 --prompt "The sky is blue because"
- 在哪里获取 modular?
- 源代码和安装说明在 GitHub 上:https://github.com/modular/modular
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
90275PythonApache-2.0维护活跃更新于 5天前
面向生产环境的高性能机器学习模型推理服务系统,提供 gRPC 与 HTTP 接口。
63652204C++Apache-2.0更新于 17天前
Solidity 是一门静态类型、面向合约的高级语言,用于在以太坊平台上编写智能合约。
2.6万+1 本周6178C++GPL-3.0维护活跃更新于 20小时前
基于 MLIR 的机器学习编译器与运行时,将模型统一降级到中间表示,覆盖数据中心到移动与边缘设备。
4005+5 本周1057C++Apache-2.0更新于 20小时前
Go 编程语言,用于构建简单、可靠、高效软件的开源语言。
14万+235 本周2.1万GoBSD-3-Clause更新于 16小时前
Rust 编程语言的主源码仓库,包含编译器、标准库和官方文档。
12.1万+470 本周1.7万RustApache-2.0维护活跃更新于 18小时前