Projetos open source sobre “transformer-alternative”

Mamba é uma arquitetura de modelagem de sequências em PyTorch baseada em modelos seletivos de espaço de estados, que oferece uma alternativa aos Transformers com tempo de execução linear para tarefas com linguagem e outras sequências.

Código oficial de treinamento e referência do RWKV, uma arquitetura de modelo de linguagem no estilo RNN que também pode ser treinada em paralelo como um transformer GPT.