stas00/ml-engineering

어떤 프로젝트인가요?

핵심 기능

• 01대규모 학습을 위한 가속기, CPU 메모리, 스토리지, 노드 간 네트워킹을 다룹니다
• 02SLURM 치트시트와 오케스트레이션 지침을 제공합니다
• 03네트워크 처리량 벤치마킹 및 노드 간 연결 테스트 도구를 제공합니다
• 04멈추거나 실패하는 PyTorch 애플리케이션을 위한 디버깅 레시피를 제공합니다
• 05클라우드 제공업체를 선택하고 GPU 업그레이드 여부를 판단하는 가이드를 제공합니다

활용 사례

• LLM 학습을 위한 멀티노드 GPU 클러스터를 구축하고 운영하기
• 멈추거나 충돌하는 분산 PyTorch 학습 작업 디버깅하기
• GPU 세대 업그레이드가 비용 대비 효과적인지 추산하기
• 새로 납품된 GPU 클러스터의 인수 테스트 준비하기

빠른 시작

1. 1

   리포지토리를 클론하세요

   git clone https://github.com/stas00/ml-engineering
2. 2

   책의 목차를 열고 필요한 가이드를 읽으세요(책은 Markdown 파일로 되어 있어 설치할 필요가 없습니다)

사용 전 알아둘 점

• !설치 가능한 소프트웨어가 아니라 메모와 가이드를 모아 둔 자료이므로 실행할 것이 없습니다.
• !내용은 주로 특정 대규모 학습 프로젝트에 대한 저자의 개인적인 경험을 바탕으로 작성되었습니다.

토픽

자주 묻는 질문

ml-engineering은(는) 무엇인가요?

대규모 언어 모델과 멀티모달 모델의 학습, 파인튜닝, 추론 실행을 위한 방법론과 스크립트, 단계별 가이드를 담은 오픈북입니다. 대규모 언어 모델과 멀티모달 모델의 학습과 파인튜닝, 추론 실행에 필요한 방법론과 도구, 단계별 지침을 공개 컬렉션으로 제공합니다. LLM 및 VLM 학습 엔지니어와 운영자를 대상으로 하며, 복사해 바로 사용할 수 있는 명령어와 스크립트가 다수 포함되어 있습니다.

ml-engineering은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ml-engineering은(는) CC-BY-SA-4.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ml-engineering은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ml-engineering의 마지막 커밋은 2026년 10월 16일입니다.

ml-engineering은(는) 어디에 사용할 수 있나요?

LLM 학습을 위한 멀티노드 GPU 클러스터를 구축하고 운영하기 멈추거나 충돌하는 분산 PyTorch 학습 작업 디버깅하기 GPU 세대 업그레이드가 비용 대비 효과적인지 추산하기 새로 납품된 GPU 클러스터의 인수 테스트 준비하기

ml-engineering는 어떻게 설치하나요?

리포지토리를 클론하세요: git clone https://github.com/stas00/ml-engineering 책의 목차를 열고 필요한 가이드를 읽으세요(책은 Markdown 파일로 되어 있어 설치할 필요가 없습니다)

ml-engineering은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/stas00/ml-engineering