Repolode
Предложить
AI-Hypercomputer

AI-Hypercomputer/maxtext

Библиотека LLM с открытым исходным кодом на базе JAX и эталонная реализация для pre-training и post-training больших моделей на TPU и GPU в Google Cloud.

Открыть на GitHubСайт
Звёзды
2,444
Форки
628
Открытые issues
477
Последний коммит
4 часа назад

Что это?

MaxText — это библиотека Python на базе JAX и компилятора XLA для обучения больших языковых моделей на TPU и GPU в Google Cloud. В неё входят реализации моделей Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral и GPT-OSS. Библиотека поддерживает pre-training — от запуска на одном хосте до работы на очень крупных кластерах.

Для post-training MaxText поддерживает supervised fine-tuning (SFT) и методы обучения с подкреплением, такие как GRPO и GSPO. В качестве фреймворка для обучения используется Tunix, а для сэмплирования при RL — vLLM. За сохранение чекпойнтов отвечает Orbax, за оптимизацию — Optax, за загрузку данных — Grain, а за нейронные сети — Flax. Мультимодальное обучение доступно для VLM Gemma 3, Gemma 4 и Llama 4.

Код задуман и как готовый к запуску стек для обучения, и как отправная точка: пользователям предлагается запускать существующие конфигурации, а затем форкать проект и адаптировать модели для своих исследований или производственных задач. Модели диффузии доступны в отдельном проекте MaxDiffusion.

Ключевые возможности

  • 01Поддержка pre-training и post-training для множества семейств открытых моделей, включая Gemma, Llama, DeepSeek, Qwen и Mistral.
  • 02Пайплайны supervised fine-tuning и обучения с подкреплением (GRPO, GSPO).
  • 03Работа на TPU и GPU в Google Cloud с масштабированием на несколько хостов и слайсов.
  • 04Создан на базе JAX, Flax, Optax, Orbax и Grain.
  • 05Доступен через PyPI и в виде готовых образов контейнеров.
  • 06Мультимодальное обучение для VLM Gemma 3, Gemma 4 и Llama 4.

Сценарии использования

  • Pre-training собственной плотной языковой модели или модели MoE на кластерах TPU или GPU.
  • Fine-tuning открытых моделей, таких как Gemma или Llama, с помощью SFT или RL в Google Cloud.
  • Использование MaxText как эталонной реализации для изучения кода обучения LLM на крупных масштабах или создания его форка.

Быстрый старт

  1. 1

    Установите MaxText из PyPI, следуя руководству по установке

  2. 2

    Если у вас уже есть окружение, выполните редактируемую установку из корневого каталога MaxText

    pip install -e .
  3. 3

    Чтобы впервые запустить MaxText, следуйте руководству Get Started

Что важно знать

  • Проект предназначен для TPU и GPU в Google Cloud, поэтому для его эффективного использования требуется ускорительное оборудование.
  • Ветка main не считается готовой для production; рекомендуется последняя версия из PyPI.
  • В первую очередь поддерживается Python 3.12; в других версиях возможны проблемы совместимости.

Темы

#jax#llm#tpu#pre-training#fine-tuning#reinforcement-learning#distributed-training#deepseek#gemma2#gemma3

Частые вопросы

Что такое maxtext?
Библиотека LLM с открытым исходным кодом на базе JAX и эталонная реализация для pre-training и post-training больших моделей на TPU и GPU в Google Cloud. MaxText — это библиотека Python на базе JAX и компилятора XLA для обучения больших языковых моделей на TPU и GPU в Google Cloud. В неё входят реализации моделей Gemma, Llama, DeepSeek, Qwen, Mistral, Mixtral и GPT-OSS. Библиотека поддерживает pre-training — от запуска на одном хосте до работы на очень крупных кластерах.
maxtext можно использовать бесплатно? Какая у него лицензия?
maxtext распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
maxtext всё ещё поддерживается?
Активно поддерживается. Последний коммит в maxtext — 21 окт. 2026 г..
Для чего можно использовать maxtext?
Pre-training собственной плотной языковой модели или модели MoE на кластерах TPU или GPU. Fine-tuning открытых моделей, таких как Gemma или Llama, с помощью SFT или RL в Google Cloud. Использование MaxText как эталонной реализации для изучения кода обучения LLM на крупных масштабах или создания его форка.
Как установить maxtext?
Установите MaxText из PyPI, следуя руководству по установке Если у вас уже есть окружение, выполните редактируемую установку из корневого каталога MaxText: pip install -e . Чтобы впервые запустить MaxText, следуйте руководству Get Started
Где скачать maxtext?
Исходный код и инструкции по установке — на GitHub: https://github.com/AI-Hypercomputer/maxtext

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты