Repolode
제출하기
axolotl-ai-cloud

axolotl-ai-cloud/axolotl

YAML 파일로 설정하는 무료 오픈소스 프레임워크로, 대규모 언어 모델의 미세 조정과 후속 학습을 지원합니다.

GitHub에서 보기웹사이트
스타
12,592
포크
1,637
열린 이슈
253
마지막 커밋
9시간 전

어떤 프로젝트인가요?

Axolotl은 대규모 언어 모델의 미세 조정과 후속 학습을 위한 프레임워크입니다. 데이터셋 전처리와 학습부터 평가, 양자화, 추론까지 전체 파이프라인을 지원하며, 각 단계는 하나의 YAML 설정 파일로 제어합니다.

전체 미세 조정, LoRA, QLoRA, GPTQ, QAT와 DPO, KTO, ORPO, GRPO 같은 선호도 학습 및 강화 학습 기법을 지원합니다. Hugging Face Hub의 다양한 모델 계열을 학습할 수 있으며, 비전-언어 모델과 오디오 모델도 포함됩니다. 데이터셋은 로컬 디스크, Hugging Face, S3, Azure, GCP, OCI 스토리지에서 불러올 수 있습니다.

성능 향상을 위해 multipacking, Flash Attention, Liger Kernel, FSDP2, DeepSpeed 멀티 GPU 학습 등의 옵션을 통합하며, Torchrun 또는 Ray를 통한 멀티 노드 학습도 지원합니다. 클라우드와 로컬 환경에서 사용할 수 있도록 Docker 이미지와 PyPI 패키지를 제공합니다.

핵심 기능

  • 01전처리, 학습, 평가, 양자화, 추론을 아우르는 단일 YAML 설정
  • 02전체 미세 조정, LoRA, QLoRA, GPTQ, QAT 지원
  • 03선호도 튜닝(DPO, KTO, ORPO) 및 강화 학습(GRPO) 기법
  • 04비전-언어 및 오디오 모델의 멀티모달 미세 조정
  • 05FSDP2와 DeepSpeed를 이용한 멀티 GPU 학습, Torchrun 또는 Ray를 이용한 멀티 노드 학습
  • 06로컬 스토리지, Hugging Face 및 주요 클라우드 오브젝트 스토리지에서 데이터셋 로드

활용 사례

  • LoRA를 사용해 커스텀 지시 또는 채팅 데이터셋으로 오픈 웨이트 LLM 미세 조정
  • 재현 가능한 YAML 설정으로 모델에 선호도 최적화 또는 GRPO 실행
  • 클라우드 인프라에서 여러 GPU 또는 노드로 학습 작업 확장

토픽

#llm#fine-tuning#lora#qlora#rlhf#deep-learning#pytorch

자주 묻는 질문

axolotl은(는) 무엇인가요?
YAML 파일로 설정하는 무료 오픈소스 프레임워크로, 대규모 언어 모델의 미세 조정과 후속 학습을 지원합니다. Axolotl은 대규모 언어 모델의 미세 조정과 후속 학습을 위한 프레임워크입니다. 데이터셋 전처리와 학습부터 평가, 양자화, 추론까지 전체 파이프라인을 지원하며, 각 단계는 하나의 YAML 설정 파일로 제어합니다.
axolotl은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
axolotl은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
axolotl은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. axolotl의 마지막 커밋은 2026년 10월 20일입니다.
axolotl은(는) 어디에 사용할 수 있나요?
LoRA를 사용해 커스텀 지시 또는 채팅 데이터셋으로 오픈 웨이트 LLM 미세 조정 재현 가능한 YAML 설정으로 모델에 선호도 최적화 또는 GRPO 실행 클라우드 인프라에서 여러 GPU 또는 노드로 학습 작업 확장
axolotl은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/axolotl-ai-cloud/axolotl

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트