FlashAttention 官方实现,一种节省显存的精确注意力计算内核,用于 GPU 上 Transformer 模型的训练与推理。
microsoft/antares
AutoRT 是一款编译器工具,帮助开发者为自有加速器创建、评测并优化 PyTorch 算子。
- Star
- 470
- Fork
- 51
- 未关闭 Issue
- 12
- 最近提交
- 15天前
这是什么?
AutoRT 是微软 Antares 项目的新一代版本,是一款面向运行时用户的编译器方案,用于为 PyTorch 在自有加速器上编写、评测和调优算子。内核以 CUDA 或 HIP C++ 函数体的形式编写,并通过简短的声明指定输入输出张量形状和线程绑定。
项目提供 autort 命令行工具。用户可以在命令中直接定义内核,包括函数签名、形状绑定以及使用 blockIdx、threadIdx 的函数体,AutoRT 会完成编译和运行。仓库还包含一份面向 AI 智能体的 SKILLS.md 指南,用于指导其编写此类内核。
推荐的运行环境是基于 Ubuntu 24.04 的 CUDA(CUDA 12.8)和 ROCm(ROCm 7.2.4)Docker 镜像。早期的手册和旧版文档仍保留,但已标记为弃用。
核心功能
- 01允许用户以 CUDA 或 HIP C++ 语法编写 PyTorch 算子内核。
- 02提供 autort 命令行工具,可编译并运行命令中定义的内核。
- 03支持在简短的声明中指定张量形状和线程绑定。
- 04包含面向 AI 智能体编写内核的 SKILLS.md 指南。
- 05提供 CUDA 和 ROCm 环境的 Docker 配置。
适用场景
- 在 NVIDIA GPU 上原型验证自定义 PyTorch 算子。
- 借助 ROCm 为 AMD GPU 移植或调优算子。
- 让 AI 智能体生成并测试加速器内核。
快速上手
- 1
使用推荐的 Docker 镜像搭建环境(CUDA 或 ROCm)
- 2
使用 autort 命令运行 Hello World 示例
autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
使用前须知
- README 未提供包管理器安装命令,安装依赖于推荐的 Docker 镜像。
- 需要 CUDA 或 ROCm 加速器环境。
- README 指向的手册和旧版文档已弃用。
收录于专题
标签
常见问题
- antares 是什么?
- AutoRT 是一款编译器工具,帮助开发者为自有加速器创建、评测并优化 PyTorch 算子。 AutoRT 是微软 Antares 项目的新一代版本,是一款面向运行时用户的编译器方案,用于为 PyTorch 在自有加速器上编写、评测和调优算子。内核以 CUDA 或 HIP C++ 函数体的形式编写,并通过简短的声明指定输入输出张量形状和线程绑定。
- antares 可以免费使用吗?用的什么许可证?
- antares 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- antares 还在维护吗?
- 活跃维护中。antares 最近一次提交是在 2026年10月23日。
- antares 适合用来做什么?
- 在 NVIDIA GPU 上原型验证自定义 PyTorch 算子。 借助 ROCm 为 AMD GPU 移植或调优算子。 让 AI 智能体生成并测试加速器内核。
- antares 怎么安装和运行?
- 使用推荐的 Docker 镜像搭建环境(CUDA 或 ROCm) 使用 autort 命令运行 Hello World 示例: autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
- 在哪里获取 antares?
- 源代码和安装说明在 GitHub 上:https://github.com/microsoft/antares
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
2.5万+27 本周3208PythonBSD-3-Clause更新于 17小时前
一个将深度神经网络编译为 CUDA/HIP C++ 代码、用于 NVIDIA 和 AMD GPU 高性能推理的 Python 框架。
4734+4 本周387PythonApache-2.0更新于 上个月
面向消费级 GPU 与异构机器的 C++ 大模型推理服务,结合投机解码、投机预填充与定制内核。
2977+12 本周290C++Apache-2.0维护活跃更新于 19小时前
一门用于编写高效自定义深度学习 GPU 内核的语言与编译器,开发效率高于 CUDA。
2.1万+37 本周3376MLIRMIT维护活跃更新于 17小时前
基于 MLIR 的机器学习编译器与运行时,将模型统一降级到中间表示,覆盖数据中心到移动与边缘设备。
4005+5 本周1057C++Apache-2.0更新于 21小时前