mamba은(는) 무엇인가요?

Mamba는 선택적 상태 공간 모델을 기반으로 한 PyTorch 시퀀스 모델링 아키텍처로, 언어를 비롯한 시퀀스 작업에서 Transformer를 대체할 선형 시간 연산 방식을 제공합니다. Mamba는 선택적 상태 공간 모델(SSM)을 기반으로 한 시퀀스 모델링 아키텍처입니다. 이전의 준이차 시간 모델이 Transformer에 뒤처졌던 언어처럼 정보 밀도가 높은 데이터를 겨냥하며, FlashAttention에서 영감을 받은 하드웨어 인식형 구현을 사용합니다.

mamba은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mamba은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mamba은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. mamba의 마지막 커밋은 2026년 7월 22일입니다.

mamba은(는) 어디에 사용할 수 있나요?

Transformer의 대안으로 긴 시퀀스 언어 모델 학습 상태 공간 모델 아키텍처와 효율성 간의 상충 관계 연구 사전 학습된 Mamba 체크포인트로 텍스트 생성 추론 실행 SSM 생성 지연 시간 및 처리량을 Transformer 기준 모델과 비교 벤치마킹

mamba는 어떻게 설치하나요?

먼저 PyTorch를 설치하세요 mamba-ssm 코어 패키지를 설치하세요: pip install mamba-ssm --no-build-isolation

mamba은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/state-spaces/mamba

state-spaces/mamba

Mamba는 선택적 상태 공간 모델을 기반으로 한 PyTorch 시퀀스 모델링 아키텍처로, 언어를 비롯한 시퀀스 작업에서 Transformer를 대체할 선형 시간 연산 방식을 제공합니다.

GitHub에서 보기

스타: 18,939
포크: 1,831
열린 이슈: 640
마지막 커밋: 3개월 전

어떤 프로젝트인가요?

Mamba는 선택적 상태 공간 모델(SSM)을 기반으로 한 시퀀스 모델링 아키텍처입니다. 이전의 준이차 시간 모델이 Transformer에 뒤처졌던 언어처럼 정보 밀도가 높은 데이터를 겨냥하며, FlashAttention에서 영감을 받은 하드웨어 인식형 구현을 사용합니다.

이 저장소는 핵심 선택적 SSM 연산자, Mamba 및 Mamba-2 블록, Mamba-3 블록, 그리고 블록을 언어 모델링 헤드와 함께 쌓는 완전한 언어 모델 래퍼를 제공합니다. 설치 시 CUDA 선택적 스캔 빌드와 순수 Python 코어 패키지를 선택할 수 있으며, AMD ROCm 빌드 관련 패치 안내도 제공됩니다. 130M~2.8B 파라미터의 사전 학습 체크포인트를 Hugging Face에서 제공하며, 생성 및 벤치마킹 스크립트와 lm-evaluation-harness 사용 안내도 포함되어 있습니다.

이 코드는 SSM 기반 시퀀스 모델을 학습하거나 실행하고, Transformer 기준 모델과 비교하려는 연구자와 엔지니어를 대상으로 합니다.

핵심 기능

01하드웨어 인식형 스캔 구현을 갖춘 선택적 상태 공간 레이어
02공통 PyTorch 인터페이스를 사용하는 Mamba, Mamba-2, Mamba-3 블록 모듈
03Mamba 블록과 LM 헤드를 결합한 완전한 언어 모델 래퍼
04Hugging Face에서 제공하는 130M~2.8B 파라미터 사전 학습 체크포인트
05선택적으로 설치할 수 있는 CUDA 선택적 스캔 확장 기능과 순수 Python 코어 설치
06생성 벤치마크 스크립트 및 제로샷 평가 안내

활용 사례

Transformer의 대안으로 긴 시퀀스 언어 모델 학습
상태 공간 모델 아키텍처와 효율성 간의 상충 관계 연구
사전 학습된 Mamba 체크포인트로 텍스트 생성 추론 실행
SSM 생성 지연 시간 및 처리량을 Transformer 기준 모델과 비교 벤치마킹

빠른 시작

1
먼저 PyTorch를 설치하세요
2
mamba-ssm 코어 패키지를 설치하세요
pip install mamba-ssm --no-build-isolation

사용 전 알아둘 점

CUDA selective scan 경로를 사용하려면 Linux와 CUDA 11.6 이상을 지원하는 NVIDIA GPU가 필요합니다.
환경 플래그로 활성화하지 않으면 코어 설치에 CUDA selective_scan_cuda 확장 기능이 포함되지 않습니다.
기존 CUDA 지원 PyTorch가 필요하므로 설정이 다소 번거로울 수 있습니다.

토픽

#state-space-model #sequence-modeling #pytorch #language-model #deep-learning #cuda #transformer-alternative

자주 묻는 질문

mamba은(는) 무엇인가요?: Mamba는 선택적 상태 공간 모델을 기반으로 한 PyTorch 시퀀스 모델링 아키텍처로, 언어를 비롯한 시퀀스 작업에서 Transformer를 대체할 선형 시간 연산 방식을 제공합니다. Mamba는 선택적 상태 공간 모델(SSM)을 기반으로 한 시퀀스 모델링 아키텍처입니다. 이전의 준이차 시간 모델이 Transformer에 뒤처졌던 언어처럼 정보 밀도가 높은 데이터를 겨냥하며, FlashAttention에서 영감을 받은 하드웨어 인식형 구현을 사용합니다.
mamba은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: mamba은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
mamba은(는) 아직 유지보수되고 있나요?: 6개월 이내 업데이트. mamba의 마지막 커밋은 2026년 7월 22일입니다.
mamba은(는) 어디에 사용할 수 있나요?: Transformer의 대안으로 긴 시퀀스 언어 모델 학습 상태 공간 모델 아키텍처와 효율성 간의 상충 관계 연구 사전 학습된 Mamba 체크포인트로 텍스트 생성 추론 실행 SSM 생성 지연 시간 및 처리량을 Transformer 기준 모델과 비교 벤치마킹
mamba는 어떻게 설치하나요?: 먼저 PyTorch를 설치하세요 mamba-ssm 코어 패키지를 설치하세요: pip install mamba-ssm --no-build-isolation
mamba은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/state-spaces/mamba

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.