Repolode
Enviar
AI-Hypercomputer

AI-Hypercomputer/maxtext

Biblioteca open source de LLM baseada em JAX e implementação de referência para pré-treinar e pós-treinar modelos grandes em TPUs e GPUs do Google Cloud.

Ver no GitHubSite
Estrelas
2,444
Forks
628
Issues abertas
477
Último commit
há 2 horas

O que é?

MaxText é uma biblioteca Python baseada em JAX e no compilador XLA para treinar modelos de linguagem grandes em TPUs e GPUs do Google Cloud. Ela inclui várias implementações de modelos, como Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral e GPT-OSS, e permite fazer pré-treinamento desde um único host até clusters muito grandes.

Para o pós-treinamento, MaxText oferece suporte a fine-tuning supervisionado (SFT) e métodos de aprendizado por reforço, como GRPO e GSPO. Usa Tunix como framework de treinamento e vLLM para amostragem durante o RL. O gerenciamento de checkpoints é feito com Orbax, a otimização com Optax, o carregamento de dados com Grain e as redes neurais com Flax. O treinamento multimodal está disponível para os VLMs Gemma 3, Gemma 4 e Llama 4.

O código foi desenvolvido tanto para funcionar como uma stack de treinamento executável quanto como ponto de partida: a recomendação é executar as configurações existentes e, em seguida, criar um fork e modificar os modelos para pesquisa ou uso em produção. Os modelos de difusão são tratados pelo projeto separado MaxDiffusion.

Recursos principais

  • 01Suporte a pré-treinamento e pós-treinamento de várias famílias de modelos abertos, incluindo Gemma, Llama, DeepSeek, Qwen e Mistral.
  • 02Pipelines de fine-tuning supervisionado e aprendizado por reforço (GRPO, GSPO).
  • 03Voltado para TPUs e GPUs do Google Cloud, com escalabilidade para múltiplos hosts e slices.
  • 04Desenvolvido com JAX, Flax, Optax, Orbax e Grain.
  • 05Disponível via PyPI e imagens de contêiner pré-construídas.
  • 06Treinamento multimodal para os VLMs Gemma 3, Gemma 4 e Llama 4.

Casos de uso

  • Pré-treinar um modelo de linguagem denso ou MoE personalizado em clusters de TPU ou GPU.
  • Fazer fine-tuning de modelos abertos, como Gemma ou Llama, com SFT ou RL no Google Cloud.
  • Usar MaxText como implementação de referência para estudar ou criar um fork do código de treinamento de LLMs em grande escala.

Início rápido

  1. 1

    Instale o MaxText pelo PyPI seguindo o guia de instalação

  2. 2

    Se você já tiver um ambiente, execute uma instalação editável a partir do diretório raiz do MaxText

    pip install -e .
  3. 3

    Siga o guia Get Started para executar o MaxText pela primeira vez

Antes de usar

  • Foi desenvolvido para TPUs e GPUs do Google Cloud, portanto precisa de hardware acelerador para ser útil.
  • A branch main não deve estar pronta para produção; a versão mais recente do PyPI é recomendada.
  • A versão principal com suporte é a Python 3.12; outras versões podem apresentar problemas de compatibilidade.

Tópicos

#jax#llm#tpu#pre-training#fine-tuning#reinforcement-learning#distributed-training#deepseek#gemma2#gemma3

Perguntas frequentes

O que é maxtext?
Biblioteca open source de LLM baseada em JAX e implementação de referência para pré-treinar e pós-treinar modelos grandes em TPUs e GPUs do Google Cloud. MaxText é uma biblioteca Python baseada em JAX e no compilador XLA para treinar modelos de linguagem grandes em TPUs e GPUs do Google Cloud. Ela inclui várias implementações de modelos, como Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral e GPT-OSS, e permite fazer pré-treinamento desde um único host até clusters muito grandes.
maxtext é gratuito? Qual é a licença?
maxtext é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
maxtext ainda é mantido?
Manutenção ativa. O último commit de maxtext foi em 21 de out. de 2026.
Para que posso usar maxtext?
Pré-treinar um modelo de linguagem denso ou MoE personalizado em clusters de TPU ou GPU. Fazer fine-tuning de modelos abertos, como Gemma ou Llama, com SFT ou RL no Google Cloud. Usar MaxText como implementação de referência para estudar ou criar um fork do código de treinamento de LLMs em grande escala.
Como instalar maxtext?
Instale o MaxText pelo PyPI seguindo o guia de instalação Se você já tiver um ambiente, execute uma instalação editável a partir do diretório raiz do MaxText: pip install -e . Siga o guia Get Started para executar o MaxText pela primeira vez
Onde consigo maxtext?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/AI-Hypercomputer/maxtext

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados