Repolode
제출하기
huggingface

huggingface/smol-course

최소한의 로컬 하드웨어로 소형 언어 모델과 비전 언어 모델을 정렬하는 실습형 Hugging Face 강의입니다.

GitHub에서 보기
스타
6,784
포크
2,276
열린 이슈
99
마지막 커밋
16일 전

어떤 프로젝트인가요?

smol course는 특정 사용 사례에 맞게 언어 모델을 정렬하는 실습형 강의입니다. SmolLM3와 SmolVLM2 모델을 중심으로 구성되어 있으며, GPU 요구 사항이 최소한이고 유료 서비스 없이 대부분의 로컬 머신에서 실행할 수 있도록 설계되었습니다.

강의에서는 chat template을 사용한 instruction tuning, 벤치마크 및 사용자 지정 도메인 평가, DPO 같은 방법을 이용한 선호도 정렬, 비전 언어 모델 적용을 다룹니다. 강화 학습, 합성 데이터 생성, 커뮤니티 리더보드는 향후 추가될 모듈로 안내되어 있습니다.

자료는 공개되어 있고 동료 검토를 거치며, 기여자는 pull request를 통해 연습 문제, 예제, 모델을 제출할 수 있습니다. Markdown과 Jupyter notebook을 기반으로 한 강의 첫 버전은 v1 디렉터리에 보관되어 있습니다.

핵심 기능

  • 01chat template과 supervised fine-tuning을 활용한 instruction tuning
  • 02표준 벤치마크와 사용자 지정 도메인에서의 모델 평가
  • 03DPO 같은 알고리즘을 이용한 선호도 정렬
  • 04멀티모달 작업을 위한 비전 언어 모델 적용
  • 05최소한의 GPU 요구 사항으로 대부분의 로컬 머신에서 실행

활용 사례

  • 특정 도메인에 맞게 소형 LLM을 fine-tuning하는 방법 학습
  • 노트북에서 compact model이 지시나 사람의 선호를 따르도록 정렬
  • 특정 분야의 애플리케이션에 사용할 사용자 지정 평가 세트 구축
  • 비전 언어 모델 적용 시작

사용 전 알아둘 점

  • README는 Python, PyTorch, transformers 라이브러리에 대한 사전 지식이 있다고 가정합니다.
  • 일부 강의 단원(강화 학습 및 합성 데이터)은 아직 공개되지 않은 것으로 표시되어 있습니다.

포함된 컬렉션

오픈소스 교육 및 학습 도구

토픽

#llm#fine-tuning#alignment#vision-language-model#jupyter#education#hugging-face

자주 묻는 질문

smol-course은(는) 무엇인가요?
최소한의 로컬 하드웨어로 소형 언어 모델과 비전 언어 모델을 정렬하는 실습형 Hugging Face 강의입니다. smol course는 특정 사용 사례에 맞게 언어 모델을 정렬하는 실습형 강의입니다. SmolLM3와 SmolVLM2 모델을 중심으로 구성되어 있으며, GPU 요구 사항이 최소한이고 유료 서비스 없이 대부분의 로컬 머신에서 실행할 수 있도록 설계되었습니다.
smol-course은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
smol-course은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
smol-course은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. smol-course의 마지막 커밋은 2026년 10월 6일입니다.
smol-course은(는) 어디에 사용할 수 있나요?
특정 도메인에 맞게 소형 LLM을 fine-tuning하는 방법 학습 노트북에서 compact model이 지시나 사람의 선호를 따르도록 정렬 특정 분야의 애플리케이션에 사용할 사용자 지정 평가 세트 구축 비전 언어 모델 적용 시작
smol-course은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/smol-course

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트