面向 LLM 训练的高效 Triton GPU 内核集合，通过算子融合降低显存占用并提升吞吐。
6665627PythonBSD-2-Clause更新于 1小时前
flagos-ai/FlagGems
用 Triton 实现的 PyTorch 兼容算子库，面向大语言模型，可跨多种 AI 加速硬件运行。
- Star
- 1,160
- Fork
- 588
- 未关闭 Issue
- 1,113
- 最近提交
- 2小时前
这是什么？
FlagGems 是一个用 Triton 语言实现的大语言模型算子库，提供与硬件平台无关的通用算子内核，用于加速不同硬件上的 LLM 训练与推理。它是 FlagOS 系统软件栈的一部分。
项目通过注册到 PyTorch 的 ATen 后端，使已有 PyTorch 代码无需改动底层 API，即可让算子在 Triton 内核上运行。它提供大量与 PyTorch 兼容的算子，对部分算子做了手工优化，并能自动生成逐元素算子代码，支持 eager 模式，不依赖 torch.compile。
该库提供多后端接口以适配多种硬件，支持的后端数量超过十个。测试样例模型包括 Bert-base-uncased、Llama-2-7b 和 Llava-1.5-7b。
核心功能
- 01提供大量与 PyTorch 兼容的算子
- 02对部分算子进行手工性能优化
- 03支持 eager 模式，不依赖 torch.compile
- 04自动生成逐元素算子代码
- 05多后端接口，支持十余种硬件平台
适用场景
- 在非 NVIDIA 的 AI 加速卡上运行 LLM 训练或推理，无需改写 PyTorch 代码
- 将 PyTorch 工作负载迁移到不同芯片的软件栈上
- 基于 Triton 开发或对比 PyTorch 算子内核
标签
常见问题
- FlagGems 是什么？
- 用 Triton 实现的 PyTorch 兼容算子库，面向大语言模型，可跨多种 AI 加速硬件运行。 FlagGems 是一个用 Triton 语言实现的大语言模型算子库，提供与硬件平台无关的通用算子内核，用于加速不同硬件上的 LLM 训练与推理。它是 FlagOS 系统软件栈的一部分。
- FlagGems 可以免费使用吗？用的什么许可证？
- FlagGems 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- FlagGems 还在维护吗？
- 活跃维护中。FlagGems 最近一次提交是在 2026年10月22日。
- FlagGems 适合用来做什么？
- 在非 NVIDIA 的 AI 加速卡上运行 LLM 训练或推理，无需改写 PyTorch 代码 将 PyTorch 工作负载迁移到不同芯片的软件栈上 基于 Triton 开发或对比 PyTorch 算子内核
- 在哪里获取 FlagGems？
- 源代码和安装说明在 GitHub 上：https://github.com/flagos-ai/FlagGems
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
基于 Triton 的高效内核与层实现，覆盖线性注意力、稀疏注意力、状态空间模型及混合 LLM 架构。
5966779PythonMIT更新于 12小时前
跨平台的机器学习推理与训练加速器，用于运行 ONNX 格式的模型。
2.2万4354C++MIT更新于 1小时前
OpenAI 发布的开放权重语言模型 gpt-oss-120b 与 gpt-oss-20b，附带参考推理、工具和客户端代码。
2万2184PythonApache-2.0更新于 10天前
一个收录手写 CUDA 内核、CUTLASS/CuTe、Triton 示例和 LLM 优化笔记的 GPU 学习与工程仓库。
3329297Cuda无许可证更新于 11天前
面向文本、视觉、音频和多模态的前沿机器学习模型定义框架，可用于推理和训练。
16.8万3.5万PythonApache-2.0更新于 3小时前