Фреймворк для обучения LLM, VLM, диффузионных моделей и моделей с воплощённым интеллектом на NVIDIA GPU и Kunlun XPU, построенный на Megatron-LM и нативных для torch бэкендах.
826+49 за неделю67PythonApache-2.0Обновлён вчера
EleutherAI/gpt-neox
Библиотека для обучения крупных авторегрессионных языковых моделей на GPU на базе Megatron-LM и DeepSpeed, с параллелизмом по модели, конвейеру и данным.
- Звёзды
- 7,472
- Форки
- 1,126
- Открытые issues
- 128
- Последний коммит
- 3 дня назад
Что это?
GPT-NeoX — библиотека EleutherAI для обучения крупных авторегрессионных языковых моделей на GPU. Она построена на NVIDIA Megatron-LM и расширяет его техниками из DeepSpeed, включая ZeRO и 3D-параллелизм, а также собственными оптимизациями. Библиотека рассчитана на исследователей и команды, которые хотят с нуля предварительно обучать или дообучать модели с миллиардами параметров.
В библиотеку входят готовые конфигурации для таких архитектур, как Pythia, PaLM, Falcon и LLaMA; также поддерживаются позиционные эмбеддинги rotary и ALiBi, flash attention, Mixture of Experts через megablocks и обучение с постепенным усложнением данных (curriculum learning). Задачи можно запускать с помощью pdsh, MPI или Slurm, а ход обучения отслеживать через Weights & Biases, Comet или TensorBoard. Чекпойнты можно экспортировать в формат Hugging Face Transformers, а веса Llama и Mistral — импортировать.
В проекте отмечают, что для универсального инференса лучше использовать библиотеку Hugging Face transformers.
Ключевые возможности
- 01Распределённое обучение с ZeRO и 3D-параллелизмом
- 02Готовые конфигурации для архитектур Pythia, PaLM, Falcon и LLaMA
- 03Поддержка flash attention и Mixture of Experts (megablocks)
- 04Запуск задач через Slurm, MPI или pdsh на GPU NVIDIA и AMD
- 05Экспорт чекпойнтов в формат Hugging Face и импорт весов Llama или Mistral
- 06Мониторинг экспериментов через Weights & Biases, Comet и TensorBoard
Сценарии использования
- Предварительное обучение собственной крупной языковой модели с нуля на GPU-кластере
- Воспроизведение или развитие обучающих экспериментов в стиле Pythia
- Дообучение чекпойнтов Llama или Mistral с параллелизмом на нескольких узлах
- Запуск крупных задач обучения в Slurm или на HPC-суперкомпьютерах
Быстрый старт
- 1
Установите основные зависимости из корневого каталога репозитория
pip install -r requirements/requirements.txt - 2
Запустите задачу обучения с файлом конфигурации (замените путь на путь к своему файлу конфигурации)
python3 deepy.py train.py /path/to/configs/my_model.yml
Что важно знать
- Инструмент предназначен для обучения больших моделей на GPU, поэтому ему требуется мощное оборудование с GPU.
- Согласно README, если вам нужен только инференс, этот инструмент, скорее всего, не подойдет; вместо него используйте Hugging Face transformers.
- Разработка и тестирование в основном проводились с Python 3.8–3.10 и PyTorch 1.8–2.0. Инструмент зависит от форка DeepSpeed (DeeperSpeed), который следует устанавливать в изолированном окружении.
В подборках
Темы
#llm#distributed-training#deepspeed#megatron#transformers#pretraining#gpu#deepspeed-library#gpt-3#language-model
Частые вопросы
- Что такое gpt-neox?
- Библиотека для обучения крупных авторегрессионных языковых моделей на GPU на базе Megatron-LM и DeepSpeed, с параллелизмом по модели, конвейеру и данным. GPT-NeoX — библиотека EleutherAI для обучения крупных авторегрессионных языковых моделей на GPU. Она построена на NVIDIA Megatron-LM и расширяет его техниками из DeepSpeed, включая ZeRO и 3D-параллелизм, а также собственными оптимизациями. Библиотека рассчитана на исследователей и команды, которые хотят с нуля предварительно обучать или дообучать модели с миллиардами параметров.
- gpt-neox можно использовать бесплатно? Какая у него лицензия?
- gpt-neox распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- gpt-neox всё ещё поддерживается?
- Активно поддерживается. Последний коммит в gpt-neox — 4 нояб. 2026 г..
- Для чего можно использовать gpt-neox?
- Предварительное обучение собственной крупной языковой модели с нуля на GPU-кластере Воспроизведение или развитие обучающих экспериментов в стиле Pythia Дообучение чекпойнтов Llama или Mistral с параллелизмом на нескольких узлах Запуск крупных задач обучения в Slurm или на HPC-суперкомпьютерах
- Как установить gpt-neox?
- Установите основные зависимости из корневого каталога репозитория: pip install -r requirements/requirements.txt Запустите задачу обучения с файлом конфигурации (замените путь на путь к своему файлу конфигурации): python3 deepy.py train.py /path/to/configs/my_model.yml
- Где скачать gpt-neox?
- Исходный код и инструкции по установке — на GitHub: https://github.com/EleutherAI/gpt-neox
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Фреймворк на базе Ray и vLLM для обучения больших языковых и мультимодальных моделей с помощью RLHF и агентного RL.
10,1 тыс.+13 за неделю1,1 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 5 дней назад
Оптимизированная для GPU библиотека и эталонные скрипты для обучения крупных трансформерных моделей с многомерным параллелизмом.
ИИ и машинное обучение#large-language-models#distributed-training#transformers#model-parallelism#gpu
18,3 тыс.+42 за неделю4,7 тыс.PythonOtherОбновлён 24 часа назад
Минималистичная библиотека Hugging Face для предобучения LLM на базе трансформеров с 3D-параллелизмом (DP, TP, PP) на кластерах с несколькими GPU.
2,9 тыс.+5 за неделю342PythonApache-2.0Обновлён в прошлом месяце
Код к книге Build a Large Language Model (From Scratch): пошаговая реализация LLM, похожей на GPT, на PyTorch.
107,9 тыс.+358 за неделю16,7 тыс.Jupyter NotebookOtherАктивно поддерживаетсяОбновлён вчера
Библиотека в стиле Transformers на базе PaddlePaddle для обучения больших языковых и визуально-языковых моделей с API, совместимым с Hugging Face.
13 тыс.+1 за неделю2,2 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 17 дней назад