state-spaces/mamba

O que é?

Recursos principais

• 01Camada seletiva de espaço de estados com implementação de scan otimizada para o hardware
• 02Módulos de bloco Mamba, Mamba-2 e Mamba-3 com uma interface PyTorch compartilhada
• 03Wrapper completo de modelo de linguagem que combina blocos Mamba com uma cabeça de LM
• 04Checkpoints pré-treinados de 130M a 2.8B parâmetros no Hugging Face
• 05Extensão opcional de selective scan com CUDA e instalação do pacote principal em Python puro
• 06Script de benchmark de geração e instruções para avaliação zero-shot

Casos de uso

• Treinar modelos de linguagem para sequências longas como alternativa aos Transformers
• Pesquisar arquiteturas de modelos de espaço de estados e seus compromissos de eficiência
• Executar inferência com checkpoints Mamba pré-treinados para gerar texto
• Comparar a latência e a taxa de transferência de geração com SSM com baselines de Transformer

Início rápido

1. 1

   Instale o PyTorch primeiro

2. 2

   Instale o pacote principal mamba-ssm

   pip install mamba-ssm --no-build-isolation

Antes de usar

• !O caminho de selective scan do CUDA requer Linux e uma GPU NVIDIA com CUDA 11.6 ou posterior.
• !A instalação principal não inclui a extensão CUDA selective_scan_cuda, a menos que você a habilite com flags de ambiente.
• !A instalação precisa do PyTorch com suporte a CUDA que você já tem, então a configuração pode ser um pouco trabalhosa.

Tópicos

Perguntas frequentes

O que é mamba?

Mamba é uma arquitetura de modelagem de sequências em PyTorch baseada em modelos seletivos de espaço de estados, que oferece uma alternativa aos Transformers com tempo de execução linear para tarefas com linguagem e outras sequências. Mamba é uma arquitetura de modelagem de sequências baseada em modelos seletivos de espaço de estados (SSMs). Ela é voltada a dados com alta densidade de informação, como a linguagem, nos quais modelos subquadráticos anteriores ficaram atrás dos Transformers, e usa uma implementação otimizada para o hardware, inspirada no FlashAttention.

mamba é gratuito? Qual é a licença?

mamba é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

mamba ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de mamba foi em 22 de jul. de 2026.

Para que posso usar mamba?

Treinar modelos de linguagem para sequências longas como alternativa aos Transformers Pesquisar arquiteturas de modelos de espaço de estados e seus compromissos de eficiência Executar inferência com checkpoints Mamba pré-treinados para gerar texto Comparar a latência e a taxa de transferência de geração com SSM com baselines de Transformer

Como instalar mamba?

Instale o PyTorch primeiro Instale o pacote principal mamba-ssm: pip install mamba-ssm --no-build-isolation

Onde consigo mamba?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/state-spaces/mamba