Repolode
제출하기
ridgerchu

ridgerchu/matmulfreellm

행렬 곱셈을 삼진 가중치와 덧셈 연산으로 대체하는 MatMul-free 언어 모델의 오픈소스 구현으로, Hugging Face Transformers와 호환됩니다.

GitHub에서 보기
스타
3,101
포크
204
열린 이슈
25
마지막 커밋
2개월 전

어떤 프로젝트인가요?

MatMul-Free LM은 모델에서 행렬 곱셈(MatMul) 연산을 없애 대규모 언어 모델의 연산 비용을 줄이는 것을 목표로 하는 언어 모델 아키텍처입니다. 이 저장소는 Hugging Face Transformers 라이브러리에 연동되는 PyTorch 구현을 제공하므로, AutoModel을 통해 모델을 초기화하고 표준 생성 API를 사용할 수 있습니다.

이 프로젝트에는 파라미터 수가 370M, 1.3B, 2.7B인 사전 학습 체크포인트가 포함되어 있으며, 370M 및 1.3B 모델은 각각 15B, 100B 토큰으로 학습되었습니다. 커널은 Triton으로 작성되었으며, 패키지에는 PyTorch 2.0 이상과 einops가 필요합니다. 코드는 flash-linear-attention을 바탕으로 수정되었으며, Scalable MatMul-free Language Modeling 논문(arXiv 2406.02528)에 해당합니다.

핵심 기능

  • 01행렬 곱셈 연산이 없는 언어 모델 아키텍처
  • 02Hugging Face AutoModel 및 generate API와 호환
  • 03파라미터 수 370M, 1.3B, 2.7B의 사전 학습 모델 제공
  • 04flash-linear-attention 코드를 기반으로 만든 Triton 커널
  • 05GitHub 저장소에서 바로 설치 가능

활용 사례

  • MatMul을 사용하지 않는 효율적인 언어 모델 아키텍처를 연구하는 연구자
  • Transformers 도구를 사용해 GPU에서 삼진 가중치 LLM 실험
  • 사용자 지정 데이터로 MatMul-free 모델 사전 학습 또는 미세 조정
  • LLM을 위한 뉴로모픽 또는 저연산 하드웨어 대상 탐색

빠른 시작

  1. 1

    필수 종속성을 설치합니다: PyTorch 2.0 이상, Triton 2.2 이상, einops

  2. 2

    GitHub에서 라이브러리를 직접 설치합니다

    pip install -U git+https://github.com/ridgerchu/matmulfreellm

사용 전 알아둘 점

  • 제공된 생성 예제에서 .cuda()와 .half()를 호출하므로 CUDA GPU가 필요합니다.
  • Triton에 의존하며, GPU 관련 종속성 스택이 상당히 추가됩니다.

토픽

#large-language-model#llm#transformers#triton#pytorch#efficient-inference#ternary-weights#linear-transformer

자주 묻는 질문

matmulfreellm은(는) 무엇인가요?
행렬 곱셈을 삼진 가중치와 덧셈 연산으로 대체하는 MatMul-free 언어 모델의 오픈소스 구현으로, Hugging Face Transformers와 호환됩니다. MatMul-Free LM은 모델에서 행렬 곱셈(MatMul) 연산을 없애 대규모 언어 모델의 연산 비용을 줄이는 것을 목표로 하는 언어 모델 아키텍처입니다. 이 저장소는 Hugging Face Transformers 라이브러리에 연동되는 PyTorch 구현을 제공하므로, AutoModel을 통해 모델을 초기화하고 표준 생성 API를 사용할 수 있습니다.
matmulfreellm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
matmulfreellm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
matmulfreellm은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. matmulfreellm의 마지막 커밋은 2026년 9월 6일입니다.
matmulfreellm은(는) 어디에 사용할 수 있나요?
MatMul을 사용하지 않는 효율적인 언어 모델 아키텍처를 연구하는 연구자 Transformers 도구를 사용해 GPU에서 삼진 가중치 LLM 실험 사용자 지정 데이터로 MatMul-free 모델 사전 학습 또는 미세 조정 LLM을 위한 뉴로모픽 또는 저연산 하드웨어 대상 탐색
matmulfreellm는 어떻게 설치하나요?
필수 종속성을 설치합니다: PyTorch 2.0 이상, Triton 2.2 이상, einops GitHub에서 라이브러리를 직접 설치합니다: pip install -U git+https://github.com/ridgerchu/matmulfreellm
matmulfreellm은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ridgerchu/matmulfreellm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트