alignment-handbook은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

alignment-handbook은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

alignment-handbook은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. alignment-handbook의 마지막 커밋은 2026년 9월 23일입니다.

alignment-handbook은(는) 어디에 사용할 수 있나요?

Zephyr 7B 정렬 파이프라인을 단계별로 재현하기 자체 지시 데이터셋으로 소형 오픈 LLM 미세 조정하기 기반 모델을 새로운 언어에 맞게 조정한 뒤 선호도 튜닝 적용하기 기존 레시피를 활용해 DPO, KTO, IPO 방식의 선호도 학습을 비교하기

alignment-handbook는 어떻게 설치하나요?

uv로 Python 가상 환경을 만듭니다: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip PyTorch v2.6.0을 설치합니다: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 저장소 루트에서 프로젝트의 나머지 종속성을 설치합니다: uv pip install . Flash Attention 2를 설치합니다: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

alignment-handbook은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/alignment-handbook

huggingface/alignment-handbook

SFT, DPO, ORPO를 사용해 언어 모델을 추가 사전 학습하고 사람 또는 AI의 선호에 맞게 정렬하는 학습 레시피와 스크립트입니다.

GitHub에서 보기 웹사이트

스타: 5,699
포크: 496
열린 이슈: 100
마지막 커밋: 29일 전

어떤 프로젝트인가요?

Alignment Handbook은 언어 모델의 후처리 학습 파이프라인을 다루는 학습 레시피 모음으로, 추가 사전 학습부터 지도 미세 조정, 선호도 정렬까지 안내합니다. 이 프로젝트는 지시 튜닝과 사람 또는 AI의 선호에 맞춘 모델 정렬 사이의 간극을 메우는 데 초점을 둡니다. 데이터, 학습 방법, 평가에 관한 공개 지침이 부족했던 영역입니다.

프로젝트는 소수의 스크립트와 YAML 레시피 파일로 구성되어 있습니다. 각 레시피에는 학습 실행에 필요한 모든 매개변수가 담겨 있으며, 저장소에는 Zephyr 7B를 재현하는 레시피와 SmolLM, SmolLM2, SmolLM3 예제가 포함되어 있습니다. DeepSpeed ZeRO-3를 사용한 전체 가중치 분산 학습과, 매개변수 효율적인 미세 조정을 위한 LoRA 및 QLoRA를 지원합니다. gpt2-nl 레시피에서는 같은 파이프라인으로 모델을 새로운 언어에 맞게 조정하는 방법을 보여 줍니다.

이 핸드북은 DPO, ORPO, 보상 모델링, 거부 샘플링을 다루며, 학습한 모델을 Hugging Face Hub에 업로드하는 방법도 안내합니다. 설치에는 PyTorch 2.6.0 및 Flash Attention 2와 함께 uv를 사용합니다.

핵심 기능

01추가 사전 학습, SFT, DPO, ORPO를 위한 학습 스크립트
02학습 실행의 모든 매개변수를 기록하는 YAML 레시피 파일
03DeepSpeed ZeRO-3를 사용한 전체 가중치 분산 학습
04매개변수 효율적인 미세 조정을 위한 LoRA 및 QLoRA 지원
05Zephyr 7B와 SmolLM 모델 계열을 재현하는 레시피

활용 사례

Zephyr 7B 정렬 파이프라인을 단계별로 재현하기
자체 지시 데이터셋으로 소형 오픈 LLM 미세 조정하기
기반 모델을 새로운 언어에 맞게 조정한 뒤 선호도 튜닝 적용하기
기존 레시피를 활용해 DPO, KTO, IPO 방식의 선호도 학습을 비교하기

빠른 시작

1
uv로 Python 가상 환경을 만듭니다
uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip
2
PyTorch v2.6.0을 설치합니다
uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126
3
저장소 루트에서 프로젝트의 나머지 종속성을 설치합니다
uv pip install .
4
Flash Attention 2를 설치합니다
uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

사용 전 알아둘 점

결과를 재현하려면 CUDA GPU 환경과 특정 버전의 PyTorch 및 Flash Attention이 필요합니다.
Hugging Face 로그인과 Git LFS 설치를 비롯해 여러 단계를 수동으로 설정해야 합니다.

토픽

#llm #rlhf #dpo #fine-tuning #transformers #preference-alignment #training-recipes

자주 묻는 질문

alignment-handbook은(는) 무엇인가요?: SFT, DPO, ORPO를 사용해 언어 모델을 추가 사전 학습하고 사람 또는 AI의 선호에 맞게 정렬하는 학습 레시피와 스크립트입니다. Alignment Handbook은 언어 모델의 후처리 학습 파이프라인을 다루는 학습 레시피 모음으로, 추가 사전 학습부터 지도 미세 조정, 선호도 정렬까지 안내합니다. 이 프로젝트는 지시 튜닝과 사람 또는 AI의 선호에 맞춘 모델 정렬 사이의 간극을 메우는 데 초점을 둡니다. 데이터, 학습 방법, 평가에 관한 공개 지침이 부족했던 영역입니다.
alignment-handbook은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: alignment-handbook은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
alignment-handbook은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. alignment-handbook의 마지막 커밋은 2026년 9월 23일입니다.
alignment-handbook은(는) 어디에 사용할 수 있나요?: Zephyr 7B 정렬 파이프라인을 단계별로 재현하기 자체 지시 데이터셋으로 소형 오픈 LLM 미세 조정하기 기반 모델을 새로운 언어에 맞게 조정한 뒤 선호도 튜닝 적용하기 기존 레시피를 활용해 DPO, KTO, IPO 방식의 선호도 학습을 비교하기
alignment-handbook는 어떻게 설치하나요?: uv로 Python 가상 환경을 만듭니다: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip PyTorch v2.6.0을 설치합니다: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 저장소 루트에서 프로젝트의 나머지 종속성을 설치합니다: uv pip install . Flash Attention 2를 설치합니다: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
alignment-handbook은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/alignment-handbook

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.