Open source проекты по теме «transformer-alternative»

Mamba — архитектура моделирования последовательностей на PyTorch, основанная на селективных моделях пространства состояний и предлагающая альтернативу Transformers с линейной сложностью для языковых и других задач.

Официальный код обучения и эталонная реализация RWKV — языковой архитектуры на основе RNN, которую можно обучать параллельно, как GPT-трансформер.