Transformer 모델의 GPU 학습과 추론을 위한 메모리 효율적인 exact attention 커널 FlashAttention의 공식 구현입니다.
huggingface/transformers
최신 텍스트, 비전, 오디오 및 멀티모달 머신러닝 모델을 정의하고 추론과 학습에 활용하는 프레임워크입니다.
- 스타
- 167,893
- 포크
- 34,917
- 열린 이슈
- 2,220
- 마지막 커밋
- 6시간 전
어떤 프로젝트인가요?
Transformers는 텍스트, 컴퓨터 비전, 오디오, 비디오 및 멀티모달 작업 전반에서 최신 머신러닝 모델을 정의할 수 있는 공통 계층을 제공합니다. 각 모델을 일관되고 읽기 쉬운 형식으로 한 번만 정의하면 학습 프레임워크, 추론 엔진 및 관련 모델링 라이브러리에서 같은 정의를 활용할 수 있습니다.
라이브러리는 몇 줄의 코드로 모델을 실행할 수 있는 고수준 Pipeline API를 제공하며, 텍스트 생성, 음성 인식, 이미지 분류, 시각적 질의응답 등의 작업을 지원합니다. 사전 학습 체크포인트는 Hugging Face Hub에서 다운로드되어 재사용할 수 있도록 로컬에 캐시됩니다. PyTorch에서 모델을 직접 사용해 저수준 학습과 커스터마이징을 수행할 수도 있습니다.
설치하려면 Python 3.10 이상과 PyTorch 2.6 이상이 필요합니다. 이 프로젝트는 범용 신경망 구성 요소를 모아 둔 툴박스가 아닙니다. 범용 학습 루프가 필요하다면 README에서 대신 Accelerate를 안내합니다.
핵심 기능
- 01텍스트, 오디오, 비전 및 멀티모달 작업의 추론을 지원하는 Pipeline API입니다.
- 02Hugging Face Hub에서 100만 개가 넘는 사전 학습 체크포인트를 이용할 수 있습니다.
- 03PyTorch 기반 학습 및 추론 엔진에서 사용할 수 있는 일관된 모델 정의를 제공합니다.
- 04transformers serve와 transformers chat을 사용해 명령줄에서 모델과 직접 대화할 수 있습니다.
활용 사례
- Python 애플리케이션에서 사전 학습 언어 모델로 텍스트를 생성하거나 채팅 기능을 구현합니다.
- 기성 모델로 음성을 텍스트로 변환하거나 이미지를 분류합니다.
- 사전 학습된 PyTorch 모델을 사용자 지정 데이터셋에 맞게 파인튜닝합니다.
- 연구 실험을 위해 공개된 모델 아키텍처를 재현합니다.
빠른 시작
- 1
venv로 가상 환경을 만들고 활성화합니다
python -m venv .my-env - 2
pip를 사용해 PyTorch 지원 버전의 Transformers를 설치합니다
pip install "transformers[torch]" - 3
Python 코드에서 텍스트 생성 파이프라인을 실행합니다(Quickstart 예제 참조)
사용 전 알아둘 점
- Python 3.10 이상 및 PyTorch 2.6 이상이 필요합니다.
- Llama 또는 Whisper-large와 같은 대규모 모델을 실행하려면 상당한 메모리가 필요하며, GPU 사용을 권장합니다.
토픽
자주 묻는 질문
- transformers은(는) 무엇인가요?
- 최신 텍스트, 비전, 오디오 및 멀티모달 머신러닝 모델을 정의하고 추론과 학습에 활용하는 프레임워크입니다. Transformers는 텍스트, 컴퓨터 비전, 오디오, 비디오 및 멀티모달 작업 전반에서 최신 머신러닝 모델을 정의할 수 있는 공통 계층을 제공합니다. 각 모델을 일관되고 읽기 쉬운 형식으로 한 번만 정의하면 학습 프레임워크, 추론 엔진 및 관련 모델링 라이브러리에서 같은 정의를 활용할 수 있습니다.
- transformers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- transformers은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- transformers은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. transformers의 마지막 커밋은 2026년 10월 20일입니다.
- transformers은(는) 어디에 사용할 수 있나요?
- Python 애플리케이션에서 사전 학습 언어 모델로 텍스트를 생성하거나 채팅 기능을 구현합니다. 기성 모델로 음성을 텍스트로 변환하거나 이미지를 분류합니다. 사전 학습된 PyTorch 모델을 사용자 지정 데이터셋에 맞게 파인튜닝합니다. 연구 실험을 위해 공개된 모델 아키텍처를 재현합니다.
- transformers는 어떻게 설치하나요?
- venv로 가상 환경을 만들고 활성화합니다: python -m venv .my-env pip를 사용해 PyTorch 지원 버전의 Transformers를 설치합니다: pip install "transformers[torch]" Python 코드에서 텍스트 생성 파이프라인을 실행합니다(Quickstart 예제 참조)
- transformers은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/transformers
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Hugging Face Hub의 저장소를 다운로드하고 업로드하며 관리하는 공식 CLI(hf) 및 Python 클라이언트입니다.
비전, 음성, NLP, LLM을 아우르는 사전 학습 AI 모델 419종을 공통 Python CLI와 ailia SDK로 실행할 수 있습니다.
Transformer, 사전 학습, 미세 조정, RAG와 에이전트를 다루며 LLaMA2 스타일의 소형 모델을 처음부터 만들어 LLM의 원리를 배우는 중국어 공개 튜토리얼입니다.
Python과 PyTorch로 LLaMA 스타일의 소형 GPT를 처음부터 만들고 학습하는 12개 챕터 주석형 튜토리얼입니다.
논문·강의·기사 923편을 담은 Markdown 기반 ML 지식 베이스와 NumPy만 사용하는 APRL 분류기·회귀 모델입니다.