Repolode
제출하기
datawhalechina

datawhalechina/happy-llm

Transformer, 사전 학습, 미세 조정, RAG와 에이전트를 다루며 LLaMA2 스타일의 소형 모델을 처음부터 만들어 LLM의 원리를 배우는 중국어 공개 튜토리얼입니다.

GitHub에서 보기웹사이트
스타
34,463
포크
3,253
열린 이슈
73
마지막 커밋
2개월 전

어떤 프로젝트인가요?

Happy-LLM은 Datawhale 커뮤니티가 중국어로 공개한 대규모 언어 모델 체계 학습 튜토리얼입니다. 기본 NLP 개념에서 시작해 Transformer 아키텍처와 사전 학습 언어 모델의 계열, LLM 학습 과정까지 단계적으로 살펴보며, 이론과 실습 코드를 함께 제공합니다.

실습 챕터에서는 PyTorch로 LLaMA2 스타일 모델을 구현하고, 토크나이저를 학습시킨 뒤 사전 학습과 지도 미세 조정을 진행합니다. 이어서 Transformers 프레임워크를 활용한 학습, LoRA/QLoRA를 이용한 파라미터 효율적 튜닝, 모델 평가, 검색 증강 생성, 에이전트를 다룹니다. 후반부 챕터에서는 GRPO와 Search-R1 같은 Agentic 강화 학습 방법을 소개합니다. 프로젝트는 ModelScope에서 약 215M 파라미터 규모의 소형 사전 학습 모델과 SFT 모델도 제공합니다.

이 튜토리얼은 온라인으로 읽거나 PDF로 볼 수 있으며, 챕터별 환경 설정 안내도 포함합니다. 커뮤니티 블로그 글을 기고할 수 있는 별도의 Extra Chapter도 있습니다.

핵심 기능

  • 01PyTorch로 LLaMA2 스타일 모델을 처음부터 구현
  • 02Transformer, 어텐션, 인코더-디코더 아키텍처 설명
  • 03토크나이저 학습, 사전 학습, 지도 미세 조정 포함
  • 04LoRA와 QLoRA를 활용한 파라미터 효율적 미세 조정 설명
  • 05RAG, 에이전트, GRPO 같은 Agentic RL 방법 소개

활용 사례

  • 연구 논문을 읽기 전에 LLM의 내부 작동 원리 학습
  • 소형 LLM 사전 학습 및 미세 조정 파이프라인 재현
  • RAG와 에이전트를 활용한 LLM 애플리케이션 개발 준비
  • 대학이나 교육 과정에서 LLM 기초 교육

빠른 시작

  1. 1

    README에서 온라인 열람 사이트를 엽니다

  2. 2

    코드를 실행하기 전에 학습 및 환경 준비 가이드를 읽습니다

  3. 3

    사용해 보고 싶다면 ModelScope에서 사전 학습된 215M 모델을 다운로드합니다

사용 전 알아둘 점

  • 콘텐츠가 중국어로 작성되어 있어 영어 사용자에게는 이해하기 어려울 수 있습니다.
  • 이 프로젝트는 프로덕션용 라이브러리가 아니라 튜토리얼이며, 각 장마다 별도의 Python 환경이 필요합니다.
  • 라이선스는 CC BY-NC-SA 4.0이며, 상업적 이용은 금지됩니다.

토픽

#llm#transformer#tutorial#pytorch#fine-tuning#rag#agent#nlp

자주 묻는 질문

happy-llm은(는) 무엇인가요?
Transformer, 사전 학습, 미세 조정, RAG와 에이전트를 다루며 LLaMA2 스타일의 소형 모델을 처음부터 만들어 LLM의 원리를 배우는 중국어 공개 튜토리얼입니다. Happy-LLM은 Datawhale 커뮤니티가 중국어로 공개한 대규모 언어 모델 체계 학습 튜토리얼입니다. 기본 NLP 개념에서 시작해 Transformer 아키텍처와 사전 학습 언어 모델의 계열, LLM 학습 과정까지 단계적으로 살펴보며, 이론과 실습 코드를 함께 제공합니다.
happy-llm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
happy-llm은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
happy-llm은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. happy-llm의 마지막 커밋은 2026년 8월 8일입니다.
happy-llm은(는) 어디에 사용할 수 있나요?
연구 논문을 읽기 전에 LLM의 내부 작동 원리 학습 소형 LLM 사전 학습 및 미세 조정 파이프라인 재현 RAG와 에이전트를 활용한 LLM 애플리케이션 개발 준비 대학이나 교육 과정에서 LLM 기초 교육
happy-llm는 어떻게 설치하나요?
README에서 온라인 열람 사이트를 엽니다 코드를 실행하기 전에 학습 및 환경 준비 가이드를 읽습니다 사용해 보고 싶다면 ModelScope에서 사전 학습된 215M 모델을 다운로드합니다
happy-llm은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/datawhalechina/happy-llm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트