LLMs-from-scratch은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LLMs-from-scratch은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LLMs-from-scratch은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LLMs-from-scratch의 마지막 커밋은 2026년 10월 2일입니다.

LLMs-from-scratch은(는) 어디에 사용할 수 있나요?

직접 코드를 작성하며 LLM의 내부 동작 원리 학습 『Build a Large Language Model』 책이나 비디오 강좌를 따라 실습 교육 목적으로 노트북에서 소규모 GPT 모델의 사전 학습을 실험 읽기 쉬운 PyTorch 코드로 최신 어텐션 변형과 아키텍처 학습

LLMs-from-scratch는 어떻게 설치하나요?

리포지토리를 shallow clone합니다: git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git setup 폴더의 설정 가이드에 따라 Python과 필수 패키지를 설치합니다 ch02/01_main-chapter-code/ch02.ipynb 등의 메인 챕터 노트북을 엽니다

LLMs-from-scratch은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/rasbt/LLMs-from-scratch

rasbt/LLMs-from-scratch

『Build a Large Language Model (From Scratch)』의 공식 보조 코드로, PyTorch에서 GPT와 유사한 LLM을 단계별로 구현합니다.

GitHub에서 보기 웹사이트

스타: 106,975
포크: 16,469
열린 이슈: 4
마지막 커밋: 19일 전

어떤 프로젝트인가요?

이 저장소에는 외부 LLM 라이브러리에 의존하지 않고 PyTorch에서 GPT와 유사한 대규모 언어 모델을 개발하고, 사전 학습하고, 파인튜닝하는 코드가 담겨 있습니다. 책의 장별로 구성되어 있으며 텍스트 데이터 준비와 토큰화, 어텐션 메커니즘, GPT 모델 구축, 레이블이 없는 데이터로 사전 학습, 분류를 위한 파인튜닝, instruction finetuning을 다룹니다.

코드는 일반 노트북에서도 적당한 시간 안에 실행되도록 설계되었으며, GPU가 있으면 자동으로 사용합니다. 본문 내용 외에도 BPE 토크나이저, KV cache, grouped-query 및 multi-head latent attention, mixture-of-experts, DPO 선호도 튜닝, LoRA, Llama 3.2, Qwen3, Gemma 3 등의 아키텍처를 처음부터 구현하는 방법을 보너스 폴더에서 살펴볼 수 있습니다. 더 큰 사전 학습 모델의 가중치를 불러와 파인튜닝하는 내용도 포함되어 있습니다.

이 프로젝트는 Manning 출판 도서의 공식 코드 보조 자료이며, 비디오 강좌와 추론 모델을 다루는 후속 도서도 제공됩니다.

핵심 기능

01외부 LLM 라이브러리 없이 PyTorch에서 GPT와 유사한 모델을 단계별로 구현
02토큰화, 어텐션, 사전 학습, 분류 파인튜닝, instruction finetuning을 다룸
03일반 노트북에서 실행되며 GPU가 있으면 자동으로 사용
04BPE, KV cache, MoE, DPO, LoRA 관련 보너스 자료 제공
05Llama 3.2, Qwen3, Gemma 3 등의 아키텍처를 처음부터 구현하는 코드 제공

활용 사례

직접 코드를 작성하며 LLM의 내부 동작 원리 학습
『Build a Large Language Model』 책이나 비디오 강좌를 따라 실습
교육 목적으로 노트북에서 소규모 GPT 모델의 사전 학습을 실험
읽기 쉬운 PyTorch 코드로 최신 어텐션 변형과 아키텍처 학습

빠른 시작

1
리포지토리를 shallow clone합니다
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
2
setup 폴더의 설정 가이드에 따라 Python과 필수 패키지를 설치합니다
3
ch02/01_main-chapter-code/ch02.ipynb 등의 메인 챕터 노트북을 엽니다

사용 전 알아둘 점

메타데이터에 라이선스가 NOASSERTION으로 표시되어 있어 라이선스 조건이 명확하지 않습니다. 재사용하기 전에 확인하세요.
이 코드는 책의 부속 자료로, 패키지로 배포되는 라이브러리나 애플리케이션이 아니라 학습용 노트북과 스크립트 모음입니다.

토픽

#llm #pytorch #deep-learning #gpt #transformers #education #finetuning #pretraining #ai #artificial-intelligence

자주 묻는 질문

LLMs-from-scratch은(는) 무엇인가요?: 『Build a Large Language Model (From Scratch)』의 공식 보조 코드로, PyTorch에서 GPT와 유사한 LLM을 단계별로 구현합니다. 이 저장소에는 외부 LLM 라이브러리에 의존하지 않고 PyTorch에서 GPT와 유사한 대규모 언어 모델을 개발하고, 사전 학습하고, 파인튜닝하는 코드가 담겨 있습니다. 책의 장별로 구성되어 있으며 텍스트 데이터 준비와 토큰화, 어텐션 메커니즘, GPT 모델 구축, 레이블이 없는 데이터로 사전 학습, 분류를 위한 파인튜닝, instruction finetuning을 다룹니다.
LLMs-from-scratch은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: LLMs-from-scratch은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
LLMs-from-scratch은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. LLMs-from-scratch의 마지막 커밋은 2026년 10월 2일입니다.
LLMs-from-scratch은(는) 어디에 사용할 수 있나요?: 직접 코드를 작성하며 LLM의 내부 동작 원리 학습 『Build a Large Language Model』 책이나 비디오 강좌를 따라 실습 교육 목적으로 노트북에서 소규모 GPT 모델의 사전 학습을 실험 읽기 쉬운 PyTorch 코드로 최신 어텐션 변형과 아키텍처 학습
LLMs-from-scratch는 어떻게 설치하나요?: 리포지토리를 shallow clone합니다: git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git setup 폴더의 설정 가이드에 따라 Python과 필수 패키지를 설치합니다 ch02/01_main-chapter-code/ch02.ipynb 등의 메인 챕터 노트북을 엽니다
LLMs-from-scratch은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/rasbt/LLMs-from-scratch

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.