PaddlePaddle/PaddleFormers

어떤 프로젝트인가요?

핵심 기능

• 01PaddlePaddle에서 Hugging Face 스타일의 AutoModel 및 AutoTokenizer API 제공
• 02대규모 모델 학습을 위한 텐서·파이프라인·전문가 병렬화
• 03사전 학습, SFT, LoRA, DPO, DPO-LoRA 작업 흐름 지원
• 04vLLM, SGLang, FastDeploy와 호환되는 Safetensors 체크포인트
• 05Function Call 및 Thinking 스타일 학습 데이터 지원

활용 사례

• SFT 또는 LoRA로 Qwen3, GLM-4.5와 같은 오픈 LLM을 사용자 지정 데이터에 맞춰 파인튜닝
• PaddlePaddle 인프라에서 DPO를 활용한 선호도 정렬 수행
• Qwen3-VL 또는 PaddleOCR-VL과 같은 비전-언어 모델 학습 또는 적용
• LLM 학습 후 작업에 중국산 가속기 하드웨어 활용

빠른 시작

1. 1

   tokenizer 및 processor 패키지를 설치합니다(학습 의존성은 포함되지 않음)

   python -m pip install paddleformers
2. 2

   tokenizer를 로드하고 Hugging Face 스타일 API로 텍스트 생성을 실행합니다

3. 3

   저장소를 clone하여 예제 학습 설정을 가져옵니다

   git clone https://github.com/PaddlePaddle/PaddleFormers.git
4. 4

   예제 설정으로 SFT 학습을 실행합니다

   paddleformers-cli train ./examples/config/sft/full.yaml

사용 전 알아둘 점

• !GPU 학습에는 CUDA 13.0 이상과 PaddleFleet 0.3 이상이 필요합니다.
• !Kunlunxin XPU, Iluvatar, Metax, MUSA 등 다른 하드웨어는 벤더별 설치 가이드가 별도로 필요합니다.

토픽

자주 묻는 질문

PaddleFormers은(는) 무엇인가요?

Hugging Face 호환 API를 제공하는 PaddlePaddle 기반 Transformers 스타일 라이브러리로, 대규모 언어 및 비전-언어 모델 학습을 지원합니다. PaddleFormers는 PaddlePaddle 딥러닝 프레임워크 기반의 모델 라이브러리로, PyTorch 사용자를 위한 Hugging Face Transformers와 유사한 모델 인터페이스와 기능을 제공합니다. 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 학습을 지원하며, DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL, ERNIE-4.5 제품군을 포함한 모델 zoo를 제공합니다.

PaddleFormers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

PaddleFormers은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

PaddleFormers은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. PaddleFormers의 마지막 커밋은 2026년 10월 21일입니다.

PaddleFormers은(는) 어디에 사용할 수 있나요?

SFT 또는 LoRA로 Qwen3, GLM-4.5와 같은 오픈 LLM을 사용자 지정 데이터에 맞춰 파인튜닝 PaddlePaddle 인프라에서 DPO를 활용한 선호도 정렬 수행 Qwen3-VL 또는 PaddleOCR-VL과 같은 비전-언어 모델 학습 또는 적용 LLM 학습 후 작업에 중국산 가속기 하드웨어 활용

PaddleFormers는 어떻게 설치하나요?

tokenizer 및 processor 패키지를 설치합니다(학습 의존성은 포함되지 않음): python -m pip install paddleformers tokenizer를 로드하고 Hugging Face 스타일 API로 텍스트 생성을 실행합니다 저장소를 clone하여 예제 학습 설정을 가져옵니다: git clone https://github.com/PaddlePaddle/PaddleFormers.git 예제 설정으로 SFT 학습을 실행합니다: paddleformers-cli train ./examples/config/sft/full.yaml

PaddleFormers은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/PaddlePaddle/PaddleFormers