Repolode
제출하기
arcee-ai

arcee-ai/mergekit

다양한 병합 알고리즘으로 사전 학습된 대규모 언어 모델의 가중치를 결합하고 CPU 또는 GPU에서 실행하는 툴킷입니다.

GitHub에서 보기
스타
7,436
포크
803
열린 이슈
276
마지막 커밋
7일 전

어떤 프로젝트인가요?

mergekit은 추가 학습 없이 사전 학습된 언어 모델의 가중치를 하나의 모델로 병합합니다. 텐서를 지연 로드하는 아웃오브코어 방식으로 동작하므로, VRAM이 8GB 정도인 GPU나 CPU에서도 복잡한 병합을 실행할 수 있습니다.

병합은 YAML 설정 파일에 정의합니다. 설정 파일에서 병합 방식을 선택하고, 소스 모델이나 레이어 구간을 지정하며, 가중치와 밀도 같은 텐서별 매개변수를 설정합니다. linear, SLERP, TIES, DARE, DELLA, Model Stock 등 폭넓은 병합 방식을 지원하며, 레이어 스태킹(passthrough) 병합, LoRA 추출, mixture-of-experts 구성, 어휘가 서로 다른 모델 간 토크나이저 정렬 기능도 제공합니다.

핵심 명령어인 `mergekit-yaml` 외에도 다단계 병합 워크플로, 원시 PyTorch 체크포인트 병합, 토크나이저 이식용 도구가 포함되어 있습니다. 텐서나 state dict에 병합 방식을 적용하는 인메모리 Python API도 제공합니다.

핵심 기능

  • 01linear, SLERP, TIES, DARE, DELLA, Model Stock 등 다양한 병합 방식
  • 02텐서를 지연 로드해 CPU 또는 VRAM 약 8GB의 GPU에서 실행
  • 03텐서별 매개변수를 제어하는 YAML 기반 설정
  • 04레이어 스태킹(passthrough) 병합 및 mixture-of-experts 구성
  • 05PEFT 호환 어댑터로 LoRA 추출
  • 06어휘가 서로 다른 모델 간 토크나이저 정렬

활용 사례

  • 동일한 베이스 모델을 기반으로 미세 조정된 여러 체크포인트를 결합해 다목적 모델 만들기
  • 서로 다른 모델의 레이어를 쌓아 실험적인 프랑켄머지 구성하기
  • 토크나이저 이식을 통해 speculative decoding용 드래프트 모델 만들기
  • 미세 조정된 모델에서 베이스 모델 대비 LoRA 어댑터 추출하기

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/arcee-ai/mergekit.git
  2. 2

    프로젝트 디렉터리로 이동합니다

    cd mergekit
  3. 3

    패키지를 편집 가능 모드로 설치합니다

    pip install -e .
  4. 4

    YAML 구성 파일로 merge를 실행합니다

    mergekit-yaml path/to/your/config.yml ./output-model-directory

사용 전 알아둘 점

  • LGPL-3.0 라이선스로 제공되며, 이 카피레프트 라이선스의 조건은 라이브러리 코드의 수정에도 적용됩니다.
  • README에는 pip install -e .를 사용한 소스 설치 방법만 나와 있으며, 공개된 패키지의 설치 방법은 안내되어 있지 않습니다.

토픽

#llm#model-merging#pytorch#hugging-face#fine-tuning#lora#machine-learning#llama

자주 묻는 질문

mergekit은(는) 무엇인가요?
다양한 병합 알고리즘으로 사전 학습된 대규모 언어 모델의 가중치를 결합하고 CPU 또는 GPU에서 실행하는 툴킷입니다. mergekit은 추가 학습 없이 사전 학습된 언어 모델의 가중치를 하나의 모델로 병합합니다. 텐서를 지연 로드하는 아웃오브코어 방식으로 동작하므로, VRAM이 8GB 정도인 GPU나 CPU에서도 복잡한 병합을 실행할 수 있습니다.
mergekit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
mergekit은(는) LGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
mergekit은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. mergekit의 마지막 커밋은 2026년 10월 31일입니다.
mergekit은(는) 어디에 사용할 수 있나요?
동일한 베이스 모델을 기반으로 미세 조정된 여러 체크포인트를 결합해 다목적 모델 만들기 서로 다른 모델의 레이어를 쌓아 실험적인 프랑켄머지 구성하기 토크나이저 이식을 통해 speculative decoding용 드래프트 모델 만들기 미세 조정된 모델에서 베이스 모델 대비 LoRA 어댑터 추출하기
mergekit는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/arcee-ai/mergekit.git 프로젝트 디렉터리로 이동합니다: cd mergekit 패키지를 편집 가능 모드로 설치합니다: pip install -e . YAML 구성 파일로 merge를 실행합니다: mergekit-yaml path/to/your/config.yml ./output-model-directory
mergekit은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/arcee-ai/mergekit

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트