Repolode
제출하기
jingyaogong

jingyaogong/minimind

단일 GPU에서 약 2시간 만에 6,400만 파라미터 언어 모델을 처음부터 학습하는 방법을 알려주는 초소형 오픈소스 LLM 프로젝트입니다.

GitHub에서 보기웹사이트
스타
64,946
포크
8,505
열린 이슈
67
마지막 커밋
11일 전

어떤 프로젝트인가요?

MiniMind는 아주 작은 모델을 기반으로 LLM을 처음부터 학습하는 프로젝트입니다. dense 버전은 약 6,400만 개, MoE 버전은 전체 약 1억 9,800만 개(활성 파라미터 6,400만 개)의 파라미터를 사용합니다. PyTorch로 토크나이저 학습, 사전 학습, 지도 미세 조정, LoRA, DPO, PPO, GRPO, CISPO, tool calling, adaptive thinking, 지식 증류까지 전체 파이프라인을 다룹니다. 핵심 알고리즘은 고수준 라이브러리로 감싸는 대신 직접 구현해 코드를 한 줄씩 읽고 수정할 수 있습니다.

이 프로젝트는 API로 모델을 호출하거나 기존 모델을 미세 조정하는 데 그치지 않고 LLM이 만들어지는 과정을 이해하려는 개발자를 대상으로 합니다. 저자에 따르면 RTX 3090 한 대에서 SFT를 한 epoch 수행하는 데 약 2시간이 걸립니다. 저장소에는 사전 처리된 데이터셋과 ModelScope 및 Hugging Face에서 제공하는 사전 학습 가중치도 포함되어 있습니다. 학습한 모델은 eval 스크립트, Streamlit WebUI 또는 OpenAI 호환 API 서버로 실행할 수 있으며, llama.cpp, vLLM, Ollama로 내보내는 방법도 제공됩니다.

저장소에는 diffusion language model과 linear attention을 위한 실험용 브랜치, 그리고 비전 및 옴니모달 변형을 위한 관련 프로젝트도 포함되어 있습니다. 모델 아키텍처는 Qwen3 제품군의 명명 방식과 설정에 맞춰져 있습니다.

핵심 기능

  • 01단일 소비자용 GPU에서 처음부터 약 6,400만 파라미터의 dense 모델과 MoE 모델을 학습합니다.
  • 02사전 학습, SFT, LoRA, DPO, PPO, GRPO, CISPO를 순수 PyTorch로 구현합니다.
  • 03채팅 템플릿을 통해 tool calling과 전환 가능한 thinking을 지원합니다.
  • 04OpenAI 호환 API 서빙과 Streamlit 채팅 WebUI를 제공합니다.
  • 05공개 데이터셋과 체크포인트를 제공하며, llama.cpp, vLLM, Ollama로 내보내는 방법도 지원합니다.

활용 사례

  • 학습 코드를 읽고 실행하며 언어 모델의 전체 제작 과정을 익힙니다.
  • 연구나 교육 목적으로 단일 GPU에서 소규모 LLM 학습 파이프라인을 재현합니다.
  • 소형 모델에서 DPO, PPO, GRPO 등의 RL 후처리 기법을 실험합니다.
  • 자체 대화 데이터로 LoRA 어댑터를 학습해 특정 도메인의 동작을 프로토타이핑합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone --depth 1 https://github.com/jingyaogong/minimind
  2. 2

    종속성을 설치합니다

    cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
  3. 3

    minimind-3 모델을 다운로드합니다

    modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
  4. 4

    모델을 사용해 명령줄에서 추론을 실행합니다

    python eval_llm.py --load_from ./minimind-3

사용 전 알아둘 점

  • 처음부터 학습하는 방식은 단일 GPU용으로 설계되었으며, README에 명시된 2시간은 NVIDIA 3090에서 측정한 시간입니다.
  • 모델이 매우 작아(약 6,400만 개의 파라미터) 출력 품질에 한계가 있습니다.
  • 6,400토큰 토크나이저는 Qwen2 같은 더 큰 토크나이저보다 중국어 텍스트를 효율적으로 압축하지 못합니다.

포함된 컬렉션

강화학습 프레임워크와 학습 환경

토픽

#llm#pytorch#training-from-scratch#fine-tuning#reinforcement-learning#moe#tutorial#artificial-intelligence#large-language-model

자주 묻는 질문

minimind은(는) 무엇인가요?
단일 GPU에서 약 2시간 만에 6,400만 파라미터 언어 모델을 처음부터 학습하는 방법을 알려주는 초소형 오픈소스 LLM 프로젝트입니다. MiniMind는 아주 작은 모델을 기반으로 LLM을 처음부터 학습하는 프로젝트입니다. dense 버전은 약 6,400만 개, MoE 버전은 전체 약 1억 9,800만 개(활성 파라미터 6,400만 개)의 파라미터를 사용합니다. PyTorch로 토크나이저 학습, 사전 학습, 지도 미세 조정, LoRA, DPO, PPO, GRPO, CISPO, tool calling, adaptive thinking, 지식 증류까지 전체 파이프라인을 다룹니다. 핵심 알고리즘은 고수준 라이브러리로 감싸는 대신 직접 구현해 코드를 한 줄씩 읽고 수정할 수 있습니다.
minimind은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
minimind은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
minimind은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. minimind의 마지막 커밋은 2026년 10월 27일입니다.
minimind은(는) 어디에 사용할 수 있나요?
학습 코드를 읽고 실행하며 언어 모델의 전체 제작 과정을 익힙니다. 연구나 교육 목적으로 단일 GPU에서 소규모 LLM 학습 파이프라인을 재현합니다. 소형 모델에서 DPO, PPO, GRPO 등의 RL 후처리 기법을 실험합니다. 자체 대화 데이터로 LoRA 어댑터를 학습해 특정 도메인의 동작을 프로토타이핑합니다.
minimind는 어떻게 설치하나요?
저장소를 클론합니다: git clone --depth 1 https://github.com/jingyaogong/minimind 종속성을 설치합니다: cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple minimind-3 모델을 다운로드합니다: modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3 모델을 사용해 명령줄에서 추론을 실행합니다: python eval_llm.py --load_from ./minimind-3
minimind은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jingyaogong/minimind

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트