Python과 PyTorch로 LLaMA 스타일의 소형 GPT를 처음부터 만들고 학습하는 12개 챕터 주석형 튜토리얼입니다.
afshinea/stanford-cme-295-transformers-large-language-models
Stanford CME 295의 Transformer 및 대규모 언어 모델 강의 내용을 한곳에 정리한 핵심 치트시트이자 학습 가이드입니다.
- 스타
- 4,967
- 포크
- 722
- 열린 이슈
- 8
- 마지막 커밋
- 지난달
어떤 프로젝트인가요?
이 저장소는 Stanford CME 295의 Transformer 및 대규모 언어 모델 핵심 개념을 하나의 치트시트로 모았습니다. self-attention과 다양한 아키텍처 등 Transformer의 기초를 다룬 뒤, 프롬프팅, SFT와 LoRA 같은 파인튜닝 방법, RLHF와 DPO를 활용한 선호도 튜닝 등 LLM 주제로 이어집니다.
추론 중심 학습(RLVR, OPD), 분산 학습, KV 캐싱, speculative decoding 같은 최적화 기법과 AI 에이전트, 평가, diffusion LLM 등의 응용 분야도 다룹니다. 자료는 여러 언어로 제공되는 PDF 치트시트 형태이며, 삽화 수백 개가 포함된 더 긴 분량의 참고 도서 내용을 요약합니다.
핵심 기능
- 01self-attention과 다양한 아키텍처를 포함한 Transformer 기초를 다룹니다
- 02SFT와 LoRA를 활용한 LLM 파인튜닝, RLHF와 DPO를 활용한 선호도 튜닝을 설명합니다
- 03RLVR과 OPD 같은 추론 학습 방법을 요약합니다
- 04KV 캐싱과 speculative decoding 등 추론 최적화 기법을 소개합니다
- 05여러 언어로 제공되는 PDF 치트시트를 다운로드할 수 있습니다
활용 사례
- 면접이나 시험 전에 LLM 및 Transformer의 핵심 개념을 복습할 때
- 최신 LLM 학습 파이프라인을 빠르게 훑어볼 때
- CME 295 강의와 함께 공부하거나 참고 자료로 활용할 때
토픽
자주 묻는 질문
- stanford-cme-295-transformers-large-language-models은(는) 무엇인가요?
- Stanford CME 295의 Transformer 및 대규모 언어 모델 강의 내용을 한곳에 정리한 핵심 치트시트이자 학습 가이드입니다. 이 저장소는 Stanford CME 295의 Transformer 및 대규모 언어 모델 핵심 개념을 하나의 치트시트로 모았습니다. self-attention과 다양한 아키텍처 등 Transformer의 기초를 다룬 뒤, 프롬프팅, SFT와 LoRA 같은 파인튜닝 방법, RLHF와 DPO를 활용한 선호도 튜닝 등 LLM 주제로 이어집니다.
- stanford-cme-295-transformers-large-language-models은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- stanford-cme-295-transformers-large-language-models은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- stanford-cme-295-transformers-large-language-models은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. stanford-cme-295-transformers-large-language-models의 마지막 커밋은 2026년 9월 13일입니다.
- stanford-cme-295-transformers-large-language-models은(는) 어디에 사용할 수 있나요?
- 면접이나 시험 전에 LLM 및 Transformer의 핵심 개념을 복습할 때 최신 LLM 학습 파이프라인을 빠르게 훑어볼 때 CME 295 강의와 함께 공부하거나 참고 자료로 활용할 때
- stanford-cme-295-transformers-large-language-models은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/afshinea/stanford-cme-295-transformers-large-language-models
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
이미지 분류와 관련 비전 작업을 위한 Vision Transformer(ViT) 및 다양한 변형 모델의 PyTorch 구현체입니다.
OpenAI, Hugging Face, LangChain, 벡터 데이터베이스, 파인튜닝 및 프루닝을 활용한 LLM 애플리케이션을 다루는 무료 실습형 강의입니다.
GPT 트랜스포머처럼 병렬 학습도 가능한 RNN 스타일 언어 모델 아키텍처 RWKV의 공식 학습 및 레퍼런스 코드입니다.
코드 작성 없이 CLI와 웹 UI로 100개 이상의 LLM 및 VLM을 효율적으로 파인튜닝하는 통합 프레임워크입니다.
Hugging Face의 Parameter-Efficient Fine-Tuning(PEFT) 라이브러리로, 소수의 추가 파라미터만 학습해 대규모 사전 학습 모델을 맞춤 조정합니다.