SFT, DPO, GRPO를 포함해 600개 이상의 대규모 언어 모델과 400개 이상의 멀티모달 모델을 미세 조정, 학습, 추론 및 배포하는 프레임워크입니다.
AI-Hypercomputer/maxtext
Google Cloud TPU와 GPU에서 대규모 모델을 사전 학습하고 후속 학습하는 JAX 기반 오픈소스 LLM 라이브러리이자 참조 구현입니다.
- 스타
- 2,444
- 포크
- 628
- 열린 이슈
- 477
- 마지막 커밋
- 2시간 전
어떤 프로젝트인가요?
MaxText는 Google Cloud TPU와 GPU에서 대규모 언어 모델을 학습하기 위한 JAX 및 XLA 컴파일러 기반 Python 라이브러리입니다. Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral, GPT-OSS 등 여러 모델 구현을 제공하며, 단일 호스트부터 초대형 클러스터까지 사전 학습을 지원합니다.
후속 학습에서는 지도 미세 조정(SFT)과 GRPO, GSPO 같은 강화 학습 방식을 지원합니다. 학습 프레임워크로 Tunix를, RL 중 샘플링에는 vLLM을 사용합니다. 체크포인트 관리는 Orbax, 최적화는 Optax, 데이터 로딩은 Grain, 신경망은 Flax를 기반으로 합니다. Gemma 3, Gemma 4, Llama 4 VLM의 멀티모달 학습도 지원합니다.
이 코드는 바로 실행할 수 있는 학습 스택이자 출발점으로 활용하도록 만들어졌습니다. 기존 설정을 실행한 뒤, 자체 연구나 프로덕션 작업에 맞게 모델을 포크하고 수정하는 것을 권장합니다. Diffusion 모델은 별도의 MaxDiffusion 프로젝트에서 다룹니다.
핵심 기능
- 01Gemma, Llama, DeepSeek, Qwen, Mistral 등 다양한 오픈 모델 계열의 사전 학습과 후속 학습을 지원합니다.
- 02지도 미세 조정과 강화 학습(GRPO, GSPO) 파이프라인을 제공합니다.
- 03Google Cloud TPU와 GPU를 대상으로 하며, 멀티 호스트 및 멀티 슬라이스 확장을 지원합니다.
- 04JAX, Flax, Optax, Orbax, Grain을 기반으로 합니다.
- 05PyPI 패키지와 사전 빌드된 컨테이너 이미지로 이용할 수 있습니다.
- 06Gemma 3, Gemma 4, Llama 4 VLM의 멀티모달 학습을 지원합니다.
활용 사례
- TPU 또는 GPU 클러스터에서 맞춤형 dense 또는 MoE 언어 모델을 사전 학습합니다.
- Google Cloud에서 SFT 또는 RL을 사용해 Gemma, Llama 같은 오픈 모델을 미세 조정합니다.
- 대규모 LLM 학습 코드를 살펴보거나 포크하기 위한 참조 구현으로 MaxText를 활용합니다.
빠른 시작
- 1
설치 가이드에 따라 PyPI에서 MaxText를 설치하세요
- 2
기존 환경에서는 MaxText 루트 디렉터리에서 editable install을 실행하세요
pip install -e . - 3
MaxText를 처음 실행하려면 Get Started 가이드를 따르세요
사용 전 알아둘 점
- Google Cloud TPU와 GPU용으로 만들어졌으므로 제대로 활용하려면 가속기 하드웨어가 필요합니다.
- main 브랜치는 프로덕션 환경에서 사용할 수 있는 상태가 아닐 수 있습니다. 최신 PyPI 릴리스를 권장합니다.
- 주로 지원되는 버전은 Python 3.12입니다. 다른 버전에서는 호환성 문제가 발생할 수 있습니다.
토픽
자주 묻는 질문
- maxtext은(는) 무엇인가요?
- Google Cloud TPU와 GPU에서 대규모 모델을 사전 학습하고 후속 학습하는 JAX 기반 오픈소스 LLM 라이브러리이자 참조 구현입니다. MaxText는 Google Cloud TPU와 GPU에서 대규모 언어 모델을 학습하기 위한 JAX 및 XLA 컴파일러 기반 Python 라이브러리입니다. Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral, GPT-OSS 등 여러 모델 구현을 제공하며, 단일 호스트부터 초대형 클러스터까지 사전 학습을 지원합니다.
- maxtext은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- maxtext은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- maxtext은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. maxtext의 마지막 커밋은 2026년 10월 21일입니다.
- maxtext은(는) 어디에 사용할 수 있나요?
- TPU 또는 GPU 클러스터에서 맞춤형 dense 또는 MoE 언어 모델을 사전 학습합니다. Google Cloud에서 SFT 또는 RL을 사용해 Gemma, Llama 같은 오픈 모델을 미세 조정합니다. 대규모 LLM 학습 코드를 살펴보거나 포크하기 위한 참조 구현으로 MaxText를 활용합니다.
- maxtext는 어떻게 설치하나요?
- 설치 가이드에 따라 PyPI에서 MaxText를 설치하세요 기존 환경에서는 MaxText 루트 디렉터리에서 editable install을 실행하세요: pip install -e . MaxText를 처음 실행하려면 Get Started 가이드를 따르세요
- maxtext은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/AI-Hypercomputer/maxtext
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Gemma, Qwen, DeepSeek, gpt-oss 등 오픈 모델을 CLI, REST API, Python/JavaScript 라이브러리로 로컬 또는 클라우드에서 실행
LLM과 diffusion 모델을 로컬에서 실행하고 미세 조정·내보내기할 수 있는 오픈소스 데스크톱 앱과 웹 UI, 코드 기반 학습 라이브러리입니다.
verl은 HybridFlow 논문을 기반으로 대규모 언어 모델의 후속 학습을 위한 오픈소스 강화 학습 라이브러리입니다.
SFT, GRPO, DPO, KTO 및 보상 모델링으로 트랜스포머 언어 모델을 후속 학습하는 Hugging Face 라이브러리입니다.
Ray와 vLLM 기반으로 인간 피드백 강화학습(RLHF)과 대규모 언어·비전-언어 모델의 에이전트형 RL 학습을 지원하는 프레임워크입니다.