Официальная реализация FlashAttention — точного и экономного по памяти attention-ядра для обучения и инференса Transformer-моделей на GPU.
microsoft/antares
AutoRT — инструмент-компилятор для создания, тестирования производительности и оптимизации операторов PyTorch под собственные ускорители.
- Звёзды
- 470
- Форки
- 51
- Открытые issues
- 12
- Последний коммит
- 14 дней назад
Что это?
AutoRT — следующее поколение проекта Microsoft Antares, решение для компиляции, предназначенное пользователям, которым нужно писать, тестировать и настраивать операторы PyTorch под собственные ускорители. Ядра пишутся в виде тел функций на CUDA или HIP C++, а небольшой заголовок объявляет формы входных и выходных тензоров и параметры запуска.
В проект входит инструмент командной строки autort. Базовое ядро задаётся встроенным определением с сигнатурой функции, привязками форм и телом, использующим blockIdx и threadIdx; AutoRT компилирует и запускает его. В репозитории также есть руководство SKILLS.md для AI-агентов, которым нужно писать такие ядра.
Рекомендуется использовать Docker-образы для CUDA (Ubuntu 24.04 с CUDA 12.8) и ROCm (Ubuntu 24.04 с ROCm 7.2.4). Более ранняя документация по ручной настройке и устаревшим сценариям сохранена для справки, но помечена как устаревшая.
Ключевые возможности
- 01Позволяет писать ядра операторов PyTorch на CUDA или HIP C++.
- 02Предоставляет инструмент командной строки autort, который компилирует и запускает встроенные определения ядер.
- 03Поддерживает объявление форм тензоров и параметров запуска в коротком заголовке.
- 04Включает руководство SKILLS.md для AI-агентов, пишущих ядра.
- 05Предлагает Docker-конфигурации для сред CUDA и ROCm.
Сценарии использования
- Создание прототипа пользовательского оператора PyTorch для GPU NVIDIA.
- Портирование или настройка операторов для GPU AMD с использованием ROCm.
- Генерация и тестирование ядер для ускорителей с помощью AI-агента.
Быстрый старт
- 1
Настройте рекомендуемый образ Docker для CUDA или ROCm
- 2
Запустите пример Hello World с помощью команды autort
autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
Что важно знать
- В README нет команды установки через менеджер пакетов, поэтому настройка выполняется с помощью рекомендуемых образов Docker.
- Требуется среда с ускорителем CUDA или ROCm.
- В README приведены ссылки на устаревшее руководство и документацию для предыдущих версий.
В подборках
Темы
Частые вопросы
- Что такое antares?
- AutoRT — инструмент-компилятор для создания, тестирования производительности и оптимизации операторов PyTorch под собственные ускорители. AutoRT — следующее поколение проекта Microsoft Antares, решение для компиляции, предназначенное пользователям, которым нужно писать, тестировать и настраивать операторы PyTorch под собственные ускорители. Ядра пишутся в виде тел функций на CUDA или HIP C++, а небольшой заголовок объявляет формы входных и выходных тензоров и параметры запуска.
- antares можно использовать бесплатно? Какая у него лицензия?
- antares распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- antares всё ещё поддерживается?
- Активно поддерживается. Последний коммит в antares — 23 окт. 2026 г..
- Для чего можно использовать antares?
- Создание прототипа пользовательского оператора PyTorch для GPU NVIDIA. Портирование или настройка операторов для GPU AMD с использованием ROCm. Генерация и тестирование ядер для ускорителей с помощью AI-агента.
- Как установить antares?
- Настройте рекомендуемый образ Docker для CUDA или ROCm Запустите пример Hello World с помощью команды autort: autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
- Где скачать antares?
- Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/antares
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python-фреймворк, компилирующий глубокие нейросети в код CUDA/HIP C++ с fp16 для быстрого инференса на GPU NVIDIA и AMD.
C++-сервер для инференса LLM на потребительских GPU и смешанных системах AMD/NVIDIA со спекулятивным декодированием, спекулятивным prefill и кастомными ядрами.
Библиотека массивов, совместимая с NumPy и SciPy, для запуска существующего Python-кода на GPU NVIDIA CUDA или AMD ROCm.
Язык и компилятор для написания эффективных пользовательских GPU-ядер глубокого обучения на Python-подобном коде — продуктивнее, чем на CUDA.
Компилятор и среда выполнения на базе MLIR, преобразующие ML-модели в единое IR для развертывания в дата-центрах, на мобильных и периферийных устройствах.