georgian-io/LLM-Finetuning-Toolkit

어떤 프로젝트인가요?

핵심 기능

• 01프롬프트, 모델, LoRA 설정, QA 테스트를 하나의 YAML 파일에서 정의합니다.
• 02프롬프트 템플릿, 모델 체크포인트, LoRA 파라미터 목록을 조합해 ablation study를 실행합니다.
• 03Hugging Face, JSON, CSV 파일에서 데이터셋을 불러옵니다.
• 04지원되는 모델에서 4-bit quantization과 Flash Attention 2를 사용할 수 있습니다.
• 05설정 해시를 기준으로 결과를 캐시해 중단된 실행을 이어서 진행할 수 있습니다.
• 06길이 및 단어 중복 검사 등의 기본 QA 테스트를 제공합니다.

활용 사례

• 동일한 파인튜닝 데이터셋으로 여러 오픈소스 기본 모델을 비교합니다.
• 작업에 가장 적합한 프롬프트 템플릿이나 LoRA 설정을 테스트합니다.
• 요약 모델의 출력이 입력보다 짧은지 확인합니다.
• 버전 관리되는 설정 파일을 사용해 재현 가능한 파인튜닝 실험을 실행합니다.

빠른 시작

1. 1

   pipx로 툴킷을 설치합니다(권장).

   pipx install llm-toolkit
2. 2

   시작용 config 파일을 생성합니다.

   llmtune generate config
3. 3

   config를 사용해 파인튜닝 실험을 실행합니다.

   llmtune run ./config.yml

사용 전 알아둘 점

• !Flash Attention 2는 별도로 수동 설치해야 하며, 호환되는 GPU가 필요합니다.
• !Llama-2 7B와 같은 모델의 파인튜닝에는 많은 리소스가 필요하며, Hugging Face 모델에 액세스할 수 있어야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

LLM-Finetuning-Toolkit은(는) 무엇인가요?

프롬프트, 오픈소스 모델, LoRA 설정을 바꿔 가며 LLM 파인튜닝 실험을 실행·비교하고, 출력 테스트도 제공하는 설정 기반 CLI입니다. LLM Finetuning Toolkit은 하나의 YAML 파일에서 여러 LLM 파인튜닝 실험을 실행하는 CLI 도구입니다. 설정 파일에서 프롬프트 템플릿, 기본 모델, 최적화 설정(bitsandbytes를 통한 LoRA rank, dropout, 4-bit quantization 등), 학습 후 품질 검사를 지정합니다. Hugging Face에서 제공하는 오픈소스 모델을 사용할 수 있으며, 데이터셋은 Hugging Face나 로컬 JSON 및 CSV 파일에서 가져올 수 있습니다.

LLM-Finetuning-Toolkit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LLM-Finetuning-Toolkit은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LLM-Finetuning-Toolkit은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LLM-Finetuning-Toolkit의 마지막 커밋은 2026년 10월 22일입니다.

LLM-Finetuning-Toolkit은(는) 어디에 사용할 수 있나요?

동일한 파인튜닝 데이터셋으로 여러 오픈소스 기본 모델을 비교합니다. 작업에 가장 적합한 프롬프트 템플릿이나 LoRA 설정을 테스트합니다. 요약 모델의 출력이 입력보다 짧은지 확인합니다. 버전 관리되는 설정 파일을 사용해 재현 가능한 파인튜닝 실험을 실행합니다.

LLM-Finetuning-Toolkit는 어떻게 설치하나요?

pipx로 툴킷을 설치합니다(권장).: pipx install llm-toolkit 시작용 config 파일을 생성합니다.: llmtune generate config config를 사용해 파인튜닝 실험을 실행합니다.: llmtune run ./config.yml

LLM-Finetuning-Toolkit은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/georgian-io/LLM-Finetuning-Toolkit