Proyectos open source sobre «transformer-alternative»

Mamba es una arquitectura de modelado de secuencias para PyTorch basada en modelos selectivos de espacio de estados, que ofrece una alternativa a los Transformers con complejidad lineal para tareas de lenguaje y otras secuencias.

Código oficial de entrenamiento y referencia para RWKV, una arquitectura de modelo de lenguaje tipo RNN que también se puede entrenar en paralelo, como un transformer GPT.