Repolode
microsoft

microsoft/antares

AutoRT — инструмент-компилятор для создания, тестирования производительности и оптимизации операторов PyTorch под собственные ускорители.

Звёзды
470
Форки
51
Открытые issues
12
Последний коммит
14 дней назад

Что это?

AutoRT — следующее поколение проекта Microsoft Antares, решение для компиляции, предназначенное пользователям, которым нужно писать, тестировать и настраивать операторы PyTorch под собственные ускорители. Ядра пишутся в виде тел функций на CUDA или HIP C++, а небольшой заголовок объявляет формы входных и выходных тензоров и параметры запуска.

В проект входит инструмент командной строки autort. Базовое ядро задаётся встроенным определением с сигнатурой функции, привязками форм и телом, использующим blockIdx и threadIdx; AutoRT компилирует и запускает его. В репозитории также есть руководство SKILLS.md для AI-агентов, которым нужно писать такие ядра.

Рекомендуется использовать Docker-образы для CUDA (Ubuntu 24.04 с CUDA 12.8) и ROCm (Ubuntu 24.04 с ROCm 7.2.4). Более ранняя документация по ручной настройке и устаревшим сценариям сохранена для справки, но помечена как устаревшая.

Ключевые возможности

  • 01Позволяет писать ядра операторов PyTorch на CUDA или HIP C++.
  • 02Предоставляет инструмент командной строки autort, который компилирует и запускает встроенные определения ядер.
  • 03Поддерживает объявление форм тензоров и параметров запуска в коротком заголовке.
  • 04Включает руководство SKILLS.md для AI-агентов, пишущих ядра.
  • 05Предлагает Docker-конфигурации для сред CUDA и ROCm.

Сценарии использования

  • Создание прототипа пользовательского оператора PyTorch для GPU NVIDIA.
  • Портирование или настройка операторов для GPU AMD с использованием ROCm.
  • Генерация и тестирование ядер для ускорителей с помощью AI-агента.

Быстрый старт

  1. 1

    Настройте рекомендуемый образ Docker для CUDA или ROCm

  2. 2

    Запустите пример Hello World с помощью команды autort

    autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'

Что важно знать

  • В README нет команды установки через менеджер пакетов, поэтому настройка выполняется с помощью рекомендуемых образов Docker.
  • Требуется среда с ускорителем CUDA или ROCm.
  • В README приведены ссылки на устаревшее руководство и документацию для предыдущих версий.

В подборках

Темы

#compiler#pytorch#cuda#rocm#gpu#kernel-generation#operator-optimization

Частые вопросы

Что такое antares?
AutoRT — инструмент-компилятор для создания, тестирования производительности и оптимизации операторов PyTorch под собственные ускорители. AutoRT — следующее поколение проекта Microsoft Antares, решение для компиляции, предназначенное пользователям, которым нужно писать, тестировать и настраивать операторы PyTorch под собственные ускорители. Ядра пишутся в виде тел функций на CUDA или HIP C++, а небольшой заголовок объявляет формы входных и выходных тензоров и параметры запуска.
antares можно использовать бесплатно? Какая у него лицензия?
antares распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
antares всё ещё поддерживается?
Активно поддерживается. Последний коммит в antares — 23 окт. 2026 г..
Для чего можно использовать antares?
Создание прототипа пользовательского оператора PyTorch для GPU NVIDIA. Портирование или настройка операторов для GPU AMD с использованием ROCm. Генерация и тестирование ядер для ускорителей с помощью AI-агента.
Как установить antares?
Настройте рекомендуемый образ Docker для CUDA или ROCm Запустите пример Hello World с помощью команды autort: autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
Где скачать antares?
Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/antares

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

C++-сервер для инференса LLM на потребительских GPU и смешанных системах AMD/NVIDIA со спекулятивным декодированием, спекулятивным prefill и кастомными ядрами.

3 тыс.+12 за неделю290C++Apache-2.0Активно поддерживаетсяОбновлён 11 часов назад

Библиотека массивов, совместимая с NumPy и SciPy, для запуска существующего Python-кода на GPU NVIDIA CUDA или AMD ROCm.

12,4 тыс.+10 за неделю1,2 тыс.PythonMITОбновлён позавчера