deepspeedai/DeepSpeed

Что это?

Ключевые возможности

• 01Оптимизация памяти ZeRO распределяет состояния оптимизатора, градиенты и параметры между GPU.
• 02ZeRO-Infinity выгружает данные в память CPU и хранилище NVMe.
• 033D-параллелизм объединяет параллелизм по данным, тензорам и конвейеру.
• 04Обучение и инференс моделей с mixture of experts с помощью DeepSpeed-MoE.
• 05Инструменты сжатия и квантования для уменьшения размера модели и ускорения работы.
• 06Интеграции с Hugging Face Transformers, Accelerate и PyTorch Lightning.

Сценарии использования

• Обучение языковых моделей с миллиардами параметров на кластере с несколькими GPU.
• Запуск инференса моделей, которые не помещаются в память одного GPU.
• Обучение на очень длинных входных последовательностях с помощью параллелизма по последовательностям.
• Добавление выгрузки данных из памяти в существующий конвейер обучения PyTorch.

Быстрый старт

1. 1

   Сначала установите PyTorch (он необходим для установки DeepSpeed)

2. 2

   Установите DeepSpeed из PyPI

   pip install deepspeed

Что важно знать

• !Перед установкой DeepSpeed необходимо установить PyTorch. Для расширений C++/CUDA также требуется компилятор CUDA или ROCm.
• !Лучше всего протестировано на GPU NVIDIA Pascal–Hopper и AMD MI100/MI200; поддержка другого оборудования может быть ограничена.
• !Функции распределённого обучения в крупном масштабе рассчитаны на конфигурации с несколькими GPU, что усложняет настройку.

Темы

Частые вопросы

Что такое DeepSpeed?

Библиотека для оптимизации глубокого обучения, упрощающая и ускоряющая распределённое обучение и инференс больших моделей. DeepSpeed — библиотека на базе PyTorch для обучения больших моделей глубокого обучения и запуска инференса на множестве GPU. Она предлагает системные методы, включая разделение памяти с ZeRO, выгрузку данных на CPU и NVMe с ZeRO-Infinity, 3D-параллелизм, сочетающий параллелизм по данным, тензорам и конвейеру, а также Ulysses — параллелизм по последовательностям для работы с длинными последовательностями.

DeepSpeed можно использовать бесплатно? Какая у него лицензия?

DeepSpeed распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

DeepSpeed всё ещё поддерживается?

Активно поддерживается. Последний коммит в DeepSpeed — 19 окт. 2026 г..

Для чего можно использовать DeepSpeed?

Обучение языковых моделей с миллиардами параметров на кластере с несколькими GPU. Запуск инференса моделей, которые не помещаются в память одного GPU. Обучение на очень длинных входных последовательностях с помощью параллелизма по последовательностям. Добавление выгрузки данных из памяти в существующий конвейер обучения PyTorch.

Как установить DeepSpeed?

Сначала установите PyTorch (он необходим для установки DeepSpeed) Установите DeepSpeed из PyPI: pip install deepspeed

Где скачать DeepSpeed?

Исходный код и инструкции по установке — на GitHub: https://github.com/deepspeedai/DeepSpeed