Repolode
제출하기
nerdai

nerdai/llms-from-scratch-rs

Sebastian Raschka의 책 『Build an LLM from Scratch』에 실린 코드를 Candle ML crate 기반으로 Rust로 옮긴 프로젝트입니다.

GitHub에서 보기웹사이트
스타
341
포크
43
열린 이슈
11
마지막 커밋
5일 전

어떤 프로젝트인가요?

이 프로젝트는 Sebastian Raschka의 책 『Build an LLM from Scratch』에 수록된 PyTorch 코드를 머신러닝 프레임워크인 Candle crate를 사용해 Rust로 포팅합니다. 책의 7개 장을 따라 텍스트 데이터 처리와 어텐션 메커니즘부터 GPT 스타일 모델 구현, 사전 학습, 분류 파인튜닝, 인스트럭션 파인튜닝까지 다룹니다.

예제와 연습 문제는 `cargo run example 05.07` 또는 `cargo run exercise 5.5`처럼 단일 `main` 바이너리에서 실행하며, `--features cuda` 플래그를 지정하면 CUDA 디바이스를 활성화할 수 있습니다. 각 예제의 `main()` 안에 import를 배치해 필요한 의존성을 정확히 확인할 수 있습니다. crates.io에서 설치할 수도 있으며, 책과 동일한 the-verdict.txt 데이터셋을 사용합니다.

핵심 기능

  • 01Candle crate를 사용해 책의 PyTorch 코드를 Rust로 옮깁니다.
  • 02토큰화부터 인스트럭션 파인튜닝까지 7개 장의 내용을 다룹니다.
  • 03단일 cargo 바이너리에서 ID를 지정해 예제와 연습 문제를 실행합니다.
  • 04feature 플래그를 통해 선택적으로 CUDA 가속을 지원합니다.
  • 05crates.io에서 바로 설치할 수 있습니다.

활용 사례

  • GPT 스타일 LLM이 Rust에서 단계별로 어떻게 만들어지는지 학습합니다.
  • 트랜스포머 구성 요소의 Rust 구현을 원본 PyTorch 구현과 비교합니다.
  • Raschka의 책에 수록된 연습 문제를 Rust 환경에서 풀어봅니다.

빠른 시작

  1. 1

    리포지토리를 클론합니다

    git clone https://github.com/nerdai/llms-from-scratch-rs.git
  2. 2

    데이터 세트를 data 폴더에 다운로드합니다

    mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt'
  3. 3

    프로젝트 루트에서 예제를 실행합니다

    cargo run example 05.07

사용 전 알아둘 점

  • Cargo가 설치된 Rust 툴체인이 필요합니다.
  • 예제는 책의 코드를 교육 목적으로 번역한 것이며, 프로덕션용 LLM 라이브러리가 아닙니다.

포함된 컬렉션

오픈소스 교육 및 학습 도구자연어 처리 도구 및 라이브러리

토픽

#llm#rust#candle#gpt#deep-learning#education#nlp#llms

자주 묻는 질문

llms-from-scratch-rs은(는) 무엇인가요?
Sebastian Raschka의 책 『Build an LLM from Scratch』에 실린 코드를 Candle ML crate 기반으로 Rust로 옮긴 프로젝트입니다. 이 프로젝트는 Sebastian Raschka의 책 『Build an LLM from Scratch』에 수록된 PyTorch 코드를 머신러닝 프레임워크인 Candle crate를 사용해 Rust로 포팅합니다. 책의 7개 장을 따라 텍스트 데이터 처리와 어텐션 메커니즘부터 GPT 스타일 모델 구현, 사전 학습, 분류 파인튜닝, 인스트럭션 파인튜닝까지 다룹니다.
llms-from-scratch-rs은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
llms-from-scratch-rs은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
llms-from-scratch-rs은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. llms-from-scratch-rs의 마지막 커밋은 2026년 11월 2일입니다.
llms-from-scratch-rs은(는) 어디에 사용할 수 있나요?
GPT 스타일 LLM이 Rust에서 단계별로 어떻게 만들어지는지 학습합니다. 트랜스포머 구성 요소의 Rust 구현을 원본 PyTorch 구현과 비교합니다. Raschka의 책에 수록된 연습 문제를 Rust 환경에서 풀어봅니다.
llms-from-scratch-rs는 어떻게 설치하나요?
리포지토리를 클론합니다: git clone https://github.com/nerdai/llms-from-scratch-rs.git 데이터 세트를 data 폴더에 다운로드합니다: mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt' 프로젝트 루트에서 예제를 실행합니다: cargo run example 05.07
llms-from-scratch-rs은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/nerdai/llms-from-scratch-rs

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트