Набор инструментов для слияния предобученных больших языковых моделей путём комбинирования их весов разными алгоритмами на CPU или GPU.
7,4 тыс.+13 за неделю803PythonLGPL-3.0Обновлён 7 дней назад
NVIDIA-NeMo/Automodel
Библиотека обучения на PyTorch с нативной поддержкой DTensor для дообучения и предобучения LLM, VLM и diffusion-моделей непосредственно из чекпойнтов Hugging Face.
- Звёзды
- 1,079
- Форки
- 371
- Открытые issues
- 502
- Последний коммит
- 4 часа назад
Что это?
NeMo AutoModel — библиотека с открытым исходным кодом для обучения, входящая в NVIDIA NeMo Framework и построенная на распределённых примитивах PyTorch, таких как DeviceMesh и DTensor. Она предназначена для предобучения и дообучения (SFT и PEFT/LoRA) больших языковых моделей, vision-language моделей, diffusion-моделей и моделей для поиска по данным. Чекпойнты Hugging Face загружаются без преобразования формата.
Параметры обучения задаются в YAML-рецептах, которые можно переопределять из командной строки. Параллелизм настраивается, а не задаётся жёстко: один и тот же скрипт можно запускать на одном GPU или на множестве узлов, меняя конфигурацию device mesh и сочетая FSDP2, HSDP, tensor, context, sequence и pipeline parallelism. Для MoE-моделей поддерживается expert parallelism; в проекте также есть варианты запуска в Kubernetes и Slurm.
В репозитории есть рецепты для множества актуальных семейств открытых моделей, включая Qwen, Gemma, Mistral, GLM, DeepSeek и Nemotron, а также обучение drafter-моделей для speculative decoding, например EAGLE и DFlash.
Ключевые возможности
- 01Загружает модели Hugging Face напрямую для SFT, LoRA и предобучения, без преобразования формата.
- 02Масштабирует обучение от одного GPU до заданий на нескольких узлах за счёт изменения конфигурации device mesh.
- 03Сочетает FSDP2, HSDP, tensor, context, sequence и pipeline parallelism.
- 04Поддерживает expert parallelism для моделей типа mixture-of-experts.
- 05Запускает рецепты, описанные в YAML и допускающие переопределение через CLI.
- 06Предусматривает варианты развёртывания в Kubernetes и Slurm.
Сценарии использования
- Дообучение большой LLM или VLM с открытыми весами на кластере с несколькими GPU или узлами.
- Запуск LoRA или SFT с полным набором параметров на актуальных MoE-моделях с expert parallelism.
- Обучение drafter-моделей для speculative decoding, например EAGLE, чтобы ускорить инференс.
- Быстрая проверка изменений в обучении на обычном PyTorch, без переписывания кода модели под каждую стратегию параллелизма.
Что важно знать
- Многие примеры рецептов рассчитаны на крупные многонодовые GPU-кластеры, например на 8–16 узлов или конфигурации EP64.
Темы
Частые вопросы
- Что такое Automodel?
- Библиотека обучения на PyTorch с нативной поддержкой DTensor для дообучения и предобучения LLM, VLM и diffusion-моделей непосредственно из чекпойнтов Hugging Face. NeMo AutoModel — библиотека с открытым исходным кодом для обучения, входящая в NVIDIA NeMo Framework и построенная на распределённых примитивах PyTorch, таких как DeviceMesh и DTensor. Она предназначена для предобучения и дообучения (SFT и PEFT/LoRA) больших языковых моделей, vision-language моделей, diffusion-моделей и моделей для поиска по данным. Чекпойнты Hugging Face загружаются без преобразования формата.
- Automodel можно использовать бесплатно? Какая у него лицензия?
- Automodel распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Automodel всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Automodel — 7 нояб. 2026 г..
- Для чего можно использовать Automodel?
- Дообучение большой LLM или VLM с открытыми весами на кластере с несколькими GPU или узлами. Запуск LoRA или SFT с полным набором параметров на актуальных MoE-моделях с expert parallelism. Обучение drafter-моделей для speculative decoding, например EAGLE, чтобы ускорить инференс. Быстрая проверка изменений в обучении на обычном PyTorch, без переписывания кода модели под каждую стратегию параллелизма.
- Где скачать Automodel?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA-NeMo/Automodel
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
CLI на основе конфигурации для запуска и сравнения экспериментов по дообучению LLM: настройке промптов, моделей с открытым исходным кодом и LoRA, с тестами результатов.
870107PythonApache-2.0Обновлён 16 дней назад
Библиотека в стиле Transformers на базе PaddlePaddle для обучения больших языковых и визуально-языковых моделей с API, совместимым с Hugging Face.
13 тыс.+1 за неделю2,2 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 17 дней назад
Оптимизированная библиотека Microsoft для обучения и инференса MoE-моделей в PyTorch, включая низкоточный инференс моделей DeepSeek, Qwen и GLM.
1 тыс.111CMITОбновлён вчера
SliceGPT сжимает трансформерные модели, включая LLM, после обучения, удаляя строки и столбцы матриц весов.
466+2 за неделю59PythonMITОбновлён 2 месяца назад
Компактный open-source проект по обучению LLM с нуля: на одной GPU примерно за 2 часа можно обучить языковую модель на 64 млн параметров.
65 тыс.+296 за неделю8,5 тыс.PythonApache-2.0Обновлён 12 дней назад