Repolode
投稿する
flagos-ai

flagos-ai/FlagGems

複数のAIアクセラレータバックエンドで動作する、Tritonで実装されたPyTorch互換のLLMカーネルライブラリ。

GitHub で見る
スター
1,160
フォーク
588
未解決の Issue
1,113
最終コミット
53 分前

これは何？

FlagGemsは、Triton言語で実装された大規模言語モデル向けのオペレーターライブラリです。異なるハードウェアプラットフォームでLLMの学習と推論を高速化するための、バックエンドに依存しないカーネルを提供します。FlagOSのシステムソフトウェアスタックの一部です。

FlagGemsはPyTorchのATenバックエンドに登録されるため、既存のPyTorchコードでは使い慣れたAPIをそのまま利用しながら、実際の演算をTritonカーネルで実行できます。PyTorch互換のオペレーターを幅広く提供し、一部のオペレーター向けに手作業で最適化したカーネルや、ポイントワイズオペレーター向けの自動コード生成にも対応しています。eager modeで動作し、torch.compileには依存しません。

多様なハードウェアに対応するマルチバックエンドインターフェースを備え、10を超えるバックエンドをサポートしています。READMEでは、テストに使用したサンプルモデルとしてBert-base-uncased、Llama-2-7b、Llava-1.5-7bを挙げています。

主な機能

  • 01PyTorch互換オペレーターを幅広く収録
  • 02一部のオペレーター向けに手作業で最適化したカーネル
  • 03torch.compileに依存しないeager mode対応
  • 04ポイントワイズオペレーター向けの自動コード生成
  • 0510を超えるハードウェアバックエンドに対応するマルチバックエンドインターフェース

ユースケース

  • PyTorchコードを書き換えずに、NVIDIA以外のAIアクセラレータでLLMの学習や推論を実行する
  • 異なるチップのソフトウェアスタック間でPyTorchのワークロードを移植する
  • PyTorchのオペレーターセットを使ってTritonカーネルを作成またはベンチマークする

トピック

#triton#pytorch#llm#gpu-kernels#deep-learning#hardware-acceleration#triton-kernels

よくある質問

FlagGems とは？
複数のAIアクセラレータバックエンドで動作する、Tritonで実装されたPyTorch互換のLLMカーネルライブラリ。 FlagGemsは、Triton言語で実装された大規模言語モデル向けのオペレーターライブラリです。異なるハードウェアプラットフォームでLLMの学習と推論を高速化するための、バックエンドに依存しないカーネルを提供します。FlagOSのシステムソフトウェアスタックの一部です。
FlagGems は無料で使えますか？ライセンスは？
FlagGems は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
FlagGems は今もメンテナンスされていますか？
活発にメンテナンス中。FlagGems の最終コミットは 2026年10月22日 です。
FlagGems は何に使えますか？
PyTorchコードを書き換えずに、NVIDIA以外のAIアクセラレータでLLMの学習や推論を実行する 異なるチップのソフトウェアスタック間でPyTorchのワークロードを移植する PyTorchのオペレーターセットを使ってTritonカーネルを作成またはベンチマークする
FlagGems はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/flagos-ai/FlagGems

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト