YAML 파일로 설정하는 무료 오픈소스 프레임워크로, 대규모 언어 모델의 미세 조정과 후속 학습을 지원합니다.
hiyouga/LlamaFactory
코드 작성 없이 CLI와 웹 UI로 100개 이상의 LLM 및 VLM을 효율적으로 파인튜닝하는 통합 프레임워크입니다.
- 스타
- 75,601
- 포크
- 9,275
- 열린 이슈
- 1,197
- 마지막 커밋
- 20시간 전
어떤 프로젝트인가요?
LlamaFactory는 대규모 언어 모델과 비전-언어 모델을 파인튜닝하기 위한 프레임워크입니다. LLaMA, Qwen, Gemma, DeepSeek, GLM, Mistral을 비롯한 다양한 모델 계열과 여러 멀티모달 모델을 지원하며, CLI 또는 LLaMA Board라는 브라우저 기반 UI를 통해 코드 작성 없이 학습을 실행할 수 있습니다.
전체 파라미터 튜닝, freeze-tuning, LoRA 및 양자화된 QLoRA 학습은 물론, 사전 학습, 지도 미세 조정, 보상 모델링, PPO, DPO, KTO, ORPO, SimPO를 지원합니다. FlashAttention-2, Unsloth, Liger Kernel 같은 메모리 및 속도 최적화 기법도 통합되어 있고, GaLore, BAdam, APOLLO 등의 옵티마이저도 포함합니다.
학습이 끝난 모델은 OpenAI 스타일 API로 제공할 수 있으며, 추론 백엔드로 vLLM 또는 SGLang을 선택적으로 사용할 수 있습니다. 실험 추적은 TensorBoard, Wandb, MLflow, SwanLab을 지원합니다.
핵심 기능
- 01CLI 또는 LLaMA Board 웹 UI에서 코드 작성 없이 파인튜닝할 수 있습니다.
- 02100개 이상의 모델 계열에 대해 LoRA, QLoRA 및 전체 파라미터 학습을 지원합니다.
- 03SFT, 보상 모델링, PPO, DPO, KTO, ORPO, SimPO를 지원합니다.
- 04이미지, 동영상, 오디오 이해를 위한 멀티모달 모델을 지원합니다.
- 05vLLM 또는 SGLang 백엔드를 사용해 학습된 모델을 OpenAI 스타일 API로 제공합니다.
활용 사례
- 학습 코드를 작성하지 않고 Qwen이나 Llama 같은 오픈 웨이트 모델을 도메인별 데이터셋에 맞게 조정합니다.
- GPU 메모리가 제한된 환경에서 LoRA와 QLoRA 학습 결과를 비교합니다.
- DPO 또는 ORPO로 선호도 정렬 모델을 학습합니다.
- 커스텀 이미지-텍스트 데이터로 비전-언어 모델을 파인튜닝합니다.
토픽
자주 묻는 질문
- LlamaFactory은(는) 무엇인가요?
- 코드 작성 없이 CLI와 웹 UI로 100개 이상의 LLM 및 VLM을 효율적으로 파인튜닝하는 통합 프레임워크입니다. LlamaFactory는 대규모 언어 모델과 비전-언어 모델을 파인튜닝하기 위한 프레임워크입니다. LLaMA, Qwen, Gemma, DeepSeek, GLM, Mistral을 비롯한 다양한 모델 계열과 여러 멀티모달 모델을 지원하며, CLI 또는 LLaMA Board라는 브라우저 기반 UI를 통해 코드 작성 없이 학습을 실행할 수 있습니다.
- LlamaFactory은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- LlamaFactory은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- LlamaFactory은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. LlamaFactory의 마지막 커밋은 2026년 10월 19일입니다.
- LlamaFactory은(는) 어디에 사용할 수 있나요?
- 학습 코드를 작성하지 않고 Qwen이나 Llama 같은 오픈 웨이트 모델을 도메인별 데이터셋에 맞게 조정합니다. GPU 메모리가 제한된 환경에서 LoRA와 QLoRA 학습 결과를 비교합니다. DPO 또는 ORPO로 선호도 정렬 모델을 학습합니다. 커스텀 이미지-텍스트 데이터로 비전-언어 모델을 파인튜닝합니다.
- LlamaFactory은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/hiyouga/LlamaFactory
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
LLM과 diffusion 모델을 로컬에서 실행하고 미세 조정·내보내기할 수 있는 오픈소스 데스크톱 앱과 웹 UI, 코드 기반 학습 라이브러리입니다.
단일 YAML 설정으로 LLM을 미세 조정하고 후속 학습하는 CLI 도구로, 저VRAM 소비자용 GPU에서도 학습할 수 있습니다.
LLM, RL, RLHF, DPO, GRPO 및 관련 대규모 모델 알고리즘을 설명하는 오리지널 다이어그램 100여 개를 담은 이중 언어 자료입니다.
대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다.