raiyanyahya/how-to-train-your-gpt

어떤 프로젝트인가요?

핵심 기능

• 01토큰화부터 추론까지 다루는 12개 순차 챕터
• 02각 코드가 하는 일과 그 이유를 설명하는 줄별 주석
• 03RoPE, RMSNorm, SwiGLU, pre-norm 블록 및 가중치 공유 구현
• 04AdamW, 코사인 워밍업, 혼합 정밀도를 사용하는 커스텀 학습 루프
• 05KV cache, temperature, top-k/top-p 샘플링 및 beam search를 지원하는 추론
• 06CPU에서 부담 없이 실행할 수 있는 소형 기본 설정이 적용된 실행 가능한 main.py

활용 사례

• ChatGPT 스타일 모델의 내부 작동 방식을 이해하고 싶은 Python 개발자
• Transformer 어텐션과 학습을 기초부터 익히는 학생
• RoPE와 학습된 위치 임베딩, RMSNorm과 LayerNorm 등 아키텍처 선택지를 비교하는 엔지니어
• 소형 언어 모델을 만드는 실습 수업을 준비하는 교사

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
2. 2

   가상 환경을 만들고 활성화합니다(Mac/Linux)

   python -m venv gpt_env && source gpt_env/bin/activate
3. 3

   requirements 파일에서 종속성을 설치합니다

   pip install -r requirements.txt
4. 4

   학습 스크립트를 실행합니다(기본값은 tiny config)

   python main.py

사용 전 알아둘 점

• !기본 구성은 tiny 모델이며, 151M 매개변수 규모의 GPT-2 구성에는 GPU가 필요합니다.
• !이 자료는 학습용이며, 프로덕션 모델이 아닌 학습 목적으로만 표시되어 있습니다.

토픽

자주 묻는 질문

how-to-train-your-gpt은(는) 무엇인가요?

Python과 PyTorch로 LLaMA 스타일의 소형 GPT를 처음부터 만들고 학습하는 12개 챕터 주석형 튜토리얼입니다. 처음부터 언어 모델을 만들어 보며 최신 디코더 전용 언어 모델의 작동 방식을 알려 주는 학습 프로젝트입니다. BPE 토크나이저, 임베딩, 회전 위치 인코딩(RoPE), 인과 마스크를 적용한 멀티헤드 어텐션, RMSNorm과 SwiGLU를 사용하는 트랜스포머 블록, AdamW와 코사인 워밍업을 적용한 학습 루프, KV cache와 샘플링 옵션을 갖춘 추론 엔진까지 전체 파이프라인을 다룹니다.

how-to-train-your-gpt은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

how-to-train-your-gpt은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

how-to-train-your-gpt은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. how-to-train-your-gpt의 마지막 커밋은 2026년 8월 30일입니다.

how-to-train-your-gpt은(는) 어디에 사용할 수 있나요?

ChatGPT 스타일 모델의 내부 작동 방식을 이해하고 싶은 Python 개발자 Transformer 어텐션과 학습을 기초부터 익히는 학생 RoPE와 학습된 위치 임베딩, RMSNorm과 LayerNorm 등 아키텍처 선택지를 비교하는 엔지니어 소형 언어 모델을 만드는 실습 수업을 준비하는 교사

how-to-train-your-gpt는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git 가상 환경을 만들고 활성화합니다(Mac/Linux): python -m venv gpt_env && source gpt_env/bin/activate requirements 파일에서 종속성을 설치합니다: pip install -r requirements.txt 학습 스크립트를 실행합니다(기본값은 tiny config): python main.py

how-to-train-your-gpt은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/raiyanyahya/how-to-train-your-gpt