Lightning-AI/litgpt

어떤 프로젝트인가요?

핵심 기능

• 01추상화 계층을 최소화한 단일 파일 기반의 모델 직접 구현.
• 02LoRA, QLoRA, Adapter, Adapter v2를 사용한 파인튜닝.
• 03사용자 지정 텍스트 데이터로 사전 학습 및 추가 사전 학습.
• 044비트 및 8비트 양자화와 FP16/BF16 혼합 정밀도 지원.
• 05완전 샤딩 데이터 병렬 처리를 통한 멀티 GPU 학습 및 TPU/XLA 지원.
• 06로컬 웹 API를 통한 모델 서빙 및 CLI에서의 대화형 채팅.

활용 사례

• Phi나 Llama 같은 오픈 웨이트 모델을 도메인별 지시 데이터셋으로 파인튜닝하기.
• 프레임워크의 간접 계층 없이 LLM 아키텍처 코드를 살펴보거나 수정하기.
• 메모리가 제한된 GPU에서 4비트 양자화 모델 실행하기.
• 파인튜닝한 체크포인트를 HTTP 추론 엔드포인트로 배포하기.

빠른 시작

1. 1

   pip으로 LitGPT 설치하기

   pip install 'litgpt[extra]'
2. 2

   Python API로 모델을 불러와 텍스트 생성하기(README 예제 사용)

사용 전 알아둘 점

• !더 큰 모델을 학습하거나 파인튜닝하려면 현실적으로 GPU 하드웨어가 필요합니다.

토픽

자주 묻는 질문

litgpt은(는) 무엇인가요?

20개 이상의 오픈 웨이트 모델을 사전 학습, 파인튜닝, 평가, 서빙할 수 있는 PyTorch 기반 LLM 구현 툴킷입니다. LitGPT는 대규모 언어 모델을 다루기 위한 Python 툴킷입니다. 지원하는 각 모델은 내부 추상화 계층을 최소화해 단일 파일에 처음부터 구현되어 있어 코드를 쉽게 읽고 수정할 수 있습니다. Llama, Gemma, Qwen, Phi, Mistral, Falcon을 비롯한 20개 이상의 모델 계열을 지원하며, 가중치 다운로드, 채팅, 파인튜닝, 사전 학습, 평가, 서빙을 위한 CLI와 Python API를 제공합니다.

litgpt은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

litgpt은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

litgpt은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. litgpt의 마지막 커밋은 2026년 10월 13일입니다.

litgpt은(는) 어디에 사용할 수 있나요?

Phi나 Llama 같은 오픈 웨이트 모델을 도메인별 지시 데이터셋으로 파인튜닝하기. 프레임워크의 간접 계층 없이 LLM 아키텍처 코드를 살펴보거나 수정하기. 메모리가 제한된 GPU에서 4비트 양자화 모델 실행하기. 파인튜닝한 체크포인트를 HTTP 추론 엔드포인트로 배포하기.

litgpt는 어떻게 설치하나요?

pip으로 LitGPT 설치하기: pip install 'litgpt[extra]' Python API로 모델을 불러와 텍스트 생성하기(README 예제 사용)

litgpt은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Lightning-AI/litgpt