ServiceNow/Fast-LLM

Что это?

Ключевые возможности

• 01Распределённое обучение с параллелизмом по данным, тензорам и конвейеру (3D-параллелизмом).
• 02Оптимизация памяти ZeRO-1, ZeRO-2 и ZeRO-3.
• 03Реализация Mixture-of-Experts (MoE) без отбрасывания токенов.
• 04Обучение с низкой точностью и накопление градиентов.
• 05Конфигурация на основе YAML и интерфейс командной строки.
• 06Интеграция с Hugging Face Transformers.

Сценарии использования

• Предварительное обучение модели в стиле Mistral или GPT на многонодовом GPU-кластере под управлением Slurm.
• Запуск масштабных задач обучения LLM в Kubernetes с PyTorchJob от KubeFlow.
• Обучение собственных MoE-моделей на базе open-source-кода с лицензией Apache 2.0.

Быстрый старт

1. 1

   Разверните Docker-образ nvcr.io/nvidia/pytorch:25.11-py3 на всех узлах (рекомендуется)

2. 2

   Установите Fast-LLM на всех узлах с помощью pip

   pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git"
3. 3

   Отправьте пример скрипта задания Slurm в кластер

   sbatch examples/fast-llm.sbat

Что важно знать

• !Для обучения в указанном масштабе нужен многузловой GPU-кластер, например из 4 узлов с 8 GPU A100 или H100 на каждом.
• !На каждом узле должны быть установлены CUDA 12.1 или новее, а также PyTorch, Triton и Apex.
• !Согласно README, некоторые функции, например настраиваемые оптимизаторы и обучающие материалы, всё ещё находятся в разработке.

Темы

Частые вопросы

Что такое Fast-LLM?

Open-source библиотека для обучения больших языковых моделей с 3D-параллелизмом, оптимизацией памяти ZeRO и интеграцией с Hugging Face на базе PyTorch и Triton. Fast-LLM — open-source библиотека для обучения больших языковых моделей на базе PyTorch и Triton. Она подходит для моделей примерно от 1B параметров и вплоть до кластеров, обучающих модели с 70B+ параметров, и работает как на одном GPU, так и на многонодовых кластерах под управлением Slurm или Kubernetes с KubeFlow.

Fast-LLM можно использовать бесплатно? Какая у него лицензия?

Fast-LLM распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Fast-LLM всё ещё поддерживается?

Активно поддерживается. Последний коммит в Fast-LLM — 15 окт. 2026 г..

Для чего можно использовать Fast-LLM?

Предварительное обучение модели в стиле Mistral или GPT на многонодовом GPU-кластере под управлением Slurm. Запуск масштабных задач обучения LLM в Kubernetes с PyTorchJob от KubeFlow. Обучение собственных MoE-моделей на базе open-source-кода с лицензией Apache 2.0.

Как установить Fast-LLM?

Разверните Docker-образ nvcr.io/nvidia/pytorch:25.11-py3 на всех узлах (рекомендуется) Установите Fast-LLM на всех узлах с помощью pip: pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" Отправьте пример скрипта задания Slurm в кластер: sbatch examples/fast-llm.sbat

Где скачать Fast-LLM?

Исходный код и инструкции по установке — на GitHub: https://github.com/ServiceNow/Fast-LLM