Repolode
Предложить
hpcaitech

hpcaitech/ColossalAI

Система на базе PyTorch для распределённого обучения и инференса крупных AI-моделей с поддержкой параллелизма, оптимизации памяти и гетерогенного обучения.

Открыть на GitHubСайт
Звёзды
41,432
Форки
4,486
Открытые issues
479
Последний коммит
7 часов назад

Что это?

Colossal-AI — система глубокого обучения, которая помогает снизить стоимость обучения крупных моделей и упростить масштабирование. Разработчики могут писать код модели для одного устройства, а затем подключать параллелизм по данным, конвейеру, тензорам (1D/2D/2.5D/3D) и последовательностям, а также ZeRO и автоматический параллелизм — с помощью файла конфигурации и нескольких строк кода.

Проект также поддерживает гетерогенное управление памятью, например выгрузку данных по схеме PatrickStar, чтобы обучать модели на оборудовании с ограниченной памятью GPU. В репозитории есть примеры скриптов обучения моделей LLaMA, GPT, BERT, ViT и MoE, а также компоненты для инференса и примеры приложений для чатов, диффузионных моделей и моделирования структуры белков.

Установить Colossal-AI можно через PyPI или из исходного кода. Поддерживается Linux, для работы требуются GPU NVIDIA с CUDA. Также доступны Docker-образы.

Ключевые возможности

  • 01Параллелизм по данным, конвейеру, тензорам (1D/2D/2.5D/3D) и последовательностям для распределённого обучения
  • 02Стратегии ZeRO и автоматического параллелизма
  • 03Гетерогенное управление памятью с выгрузкой данных за пределы памяти GPU
  • 04Настройка параллелизма через файл конфигурации с минимальными изменениями кода
  • 05Компоненты для инференса и примеры приложений с LLM и диффузионными моделями

Сценарии использования

  • Обучение больших языковых моделей на нескольких GPU или узлах
  • Дообучение или предварительное обучение крупных моделей при ограниченной памяти GPU
  • Запуск инференса LLM с оптимизированным использованием памяти и пропускной способностью
  • Воспроизведение примеров конвейеров обучения для LLaMA, GPT или диффузионных моделей

Быстрый старт

  1. 1

    В разделе Installation описаны варианты установки через PyPI или из исходного кода

Что важно знать

  • Его функции предназначены для больших моделей и обучения на нескольких GPU, поэтому без GPU от него мало пользы.

Темы

#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch#llm#gpu#ai#big-model#data-parallelism

Частые вопросы

Что такое ColossalAI?
Система на базе PyTorch для распределённого обучения и инференса крупных AI-моделей с поддержкой параллелизма, оптимизации памяти и гетерогенного обучения. Colossal-AI — система глубокого обучения, которая помогает снизить стоимость обучения крупных моделей и упростить масштабирование. Разработчики могут писать код модели для одного устройства, а затем подключать параллелизм по данным, конвейеру, тензорам (1D/2D/2.5D/3D) и последовательностям, а также ZeRO и автоматический параллелизм — с помощью файла конфигурации и нескольких строк кода.
ColossalAI можно использовать бесплатно? Какая у него лицензия?
ColossalAI распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ColossalAI всё ещё поддерживается?
Активно поддерживается. Последний коммит в ColossalAI — 21 окт. 2026 г..
Для чего можно использовать ColossalAI?
Обучение больших языковых моделей на нескольких GPU или узлах Дообучение или предварительное обучение крупных моделей при ограниченной памяти GPU Запуск инференса LLM с оптимизированным использованием памяти и пропускной способностью Воспроизведение примеров конвейеров обучения для LLaMA, GPT или диффузионных моделей
Как установить ColossalAI?
В разделе Installation описаны варианты установки через PyPI или из исходного кода
Где скачать ColossalAI?
Исходный код и инструкции по установке — на GitHub: https://github.com/hpcaitech/ColossalAI

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты