“transformer-alternative” 관련 오픈소스 프로젝트

Mamba는 선택적 상태 공간 모델을 기반으로 한 PyTorch 시퀀스 모델링 아키텍처로, 언어를 비롯한 시퀀스 작업에서 Transformer를 대체할 선형 시간 연산 방식을 제공합니다.

GPT 트랜스포머처럼 병렬 학습도 가능한 RNN 스타일 언어 모델 아키텍처 RWKV의 공식 학습 및 레퍼런스 코드입니다.