stas00/ml-engineering

Что это?

Ключевые возможности

• 01Рассматриваются ускорители, память CPU, хранилища и межузловые сети для масштабного обучения
• 02Есть шпаргалки по SLURM и рекомендации по оркестрации
• 03Предлагаются инструменты для тестирования пропускной способности сети и межузлового соединения
• 04Есть инструкции по отладке зависающих или аварийно завершающихся приложений PyTorch
• 05Предлагаются руководства по выбору облачного провайдера и принятию решения об обновлении GPU

Сценарии использования

• Настройка и эксплуатация мног узлового GPU-кластера для обучения LLM
• Отладка зависающих или аварийно завершающихся распределённых заданий обучения PyTorch
• Оценка экономической целесообразности перехода на новое поколение GPU
• Подготовка приёмочного тестирования недавно поставленного GPU-кластера

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/stas00/ml-engineering
2. 2

   Откройте оглавление книги и прочитайте нужное руководство (книга состоит из файлов Markdown, установка не требуется)

Что важно знать

• !Это сборник заметок и руководств, а не устанавливаемое программное обеспечение, поэтому запускать здесь нечего.
• !Материалы основаны главным образом на личном опыте автора в конкретных проектах крупномасштабного обучения.

Темы

Частые вопросы

Что такое ml-engineering?

Открытый справочник с методиками, скриптами и пошаговыми руководствами по обучению, дообучению и инференсу больших языковых и мультимодальных моделей. Это открытая подборка методик, инструментов и пошаговых инструкций по обучению и дообучению больших языковых и мультимодальных моделей, а также запуску инференса. Материалы предназначены для инженеров и операторов, работающих с обучением LLM и VLM, и содержат множество команд и скриптов, которые можно копировать и запускать.

ml-engineering можно использовать бесплатно? Какая у него лицензия?

ml-engineering распространяется с открытым исходным кодом под лицензией CC-BY-SA-4.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ml-engineering всё ещё поддерживается?

Активно поддерживается. Последний коммит в ml-engineering — 16 окт. 2026 г..

Для чего можно использовать ml-engineering?

Настройка и эксплуатация мног узлового GPU-кластера для обучения LLM Отладка зависающих или аварийно завершающихся распределённых заданий обучения PyTorch Оценка экономической целесообразности перехода на новое поколение GPU Подготовка приёмочного тестирования недавно поставленного GPU-кластера

Как установить ml-engineering?

Клонируйте репозиторий: git clone https://github.com/stas00/ml-engineering Откройте оглавление книги и прочитайте нужное руководство (книга состоит из файлов Markdown, установка не требуется)

Где скачать ml-engineering?

Исходный код и инструкции по установке — на GitHub: https://github.com/stas00/ml-engineering