Repolode
제출하기
flagos-ai

flagos-ai/FlagGems

여러 AI 가속기 백엔드에서 실행하도록 설계된, Triton으로 작성된 PyTorch 호환 LLM 커널 오퍼레이터 라이브러리입니다.

GitHub에서 보기
스타
1,160
포크
588
열린 이슈
1,113
마지막 커밋
20분 전

어떤 프로젝트인가요?

FlagGems는 Triton 언어로 구현된 대규모 언어 모델용 오퍼레이터 라이브러리입니다. 다양한 하드웨어 플랫폼에서 LLM 학습과 추론을 가속하기 위한 백엔드 중립적인 커널 모음을 제공합니다. FlagOS 시스템 소프트웨어 스택의 일부입니다.

FlagGems는 PyTorch의 ATen 백엔드에 등록되므로, 기존 PyTorch 코드는 익숙한 API를 그대로 사용하면서 내부 오퍼레이터는 Triton 커널로 실행할 수 있습니다. 이 프로젝트는 PyTorch 호환 오퍼레이터를 폭넓게 제공하며, 일부 오퍼레이터를 위한 수작업 최적화 커널과 pointwise 오퍼레이터의 자동 코드 생성 기능도 지원합니다. eager mode에서 동작하며 torch.compile에 의존하지 않습니다.

이 라이브러리에는 다양한 하드웨어를 위한 멀티 백엔드 인터페이스가 포함되어 있으며, 10개 이상의 백엔드를 지원한다고 안내합니다. README에서는 테스트에 사용한 샘플 모델로 Bert-base-uncased, Llama-2-7b, Llava-1.5-7b를 소개합니다.

핵심 기능

  • 01PyTorch 호환 오퍼레이터를 폭넓게 제공
  • 02일부 오퍼레이터를 위한 수작업 최적화 커널
  • 03torch.compile과 무관한 eager mode 지원
  • 04pointwise 오퍼레이터의 자동 코드 생성
  • 0510개 이상의 하드웨어 백엔드를 지원하는 멀티 백엔드 인터페이스

활용 사례

  • PyTorch 코드를 다시 작성하지 않고 NVIDIA 이외의 AI 가속기에서 LLM 학습이나 추론 실행
  • 서로 다른 칩 소프트웨어 스택 간에 PyTorch 워크로드 포팅
  • PyTorch 오퍼레이터 집합을 기준으로 Triton 커널 작성 또는 벤치마킹

토픽

#triton#pytorch#llm#gpu-kernels#deep-learning#hardware-acceleration#triton-kernels

자주 묻는 질문

FlagGems은(는) 무엇인가요?
여러 AI 가속기 백엔드에서 실행하도록 설계된, Triton으로 작성된 PyTorch 호환 LLM 커널 오퍼레이터 라이브러리입니다. FlagGems는 Triton 언어로 구현된 대규모 언어 모델용 오퍼레이터 라이브러리입니다. 다양한 하드웨어 플랫폼에서 LLM 학습과 추론을 가속하기 위한 백엔드 중립적인 커널 모음을 제공합니다. FlagOS 시스템 소프트웨어 스택의 일부입니다.
FlagGems은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
FlagGems은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
FlagGems은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. FlagGems의 마지막 커밋은 2026년 10월 22일입니다.
FlagGems은(는) 어디에 사용할 수 있나요?
PyTorch 코드를 다시 작성하지 않고 NVIDIA 이외의 AI 가속기에서 LLM 학습이나 추론 실행 서로 다른 칩 소프트웨어 스택 간에 PyTorch 워크로드 포팅 PyTorch 오퍼레이터 집합을 기준으로 Triton 커널 작성 또는 벤치마킹
FlagGems은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/flagos-ai/FlagGems

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트