“linear-attention” 관련 오픈소스 프로젝트

선형 어텐션, 희소 어텐션, 상태 공간 모델 및 하이브리드 LLM 아키텍처를 위한 Triton 기반 커널과 학습용 레이어입니다.

선형 확산 트랜스포머를 사용해 고해상도 이미지와 동영상을 효율적으로 생성하고, 학습 및 추론 파이프라인을 제공하는 오픈소스 코드베이스입니다.