Набор инструментов Hugging Face для экспорта и запуска моделей Transformers, Diffusers, TIMM и Sentence-Transformers на целевом оборудовании с оптимизированными инференсом и обучением.
Optimum дополняет библиотеки Hugging Face Transformers, Diffusers, TIMM и Sentence-Transformers инструментами для эффективного запуска и обучения моделей на целевом оборудовании. Он сохраняет тот же высокоуровневый API, поэтому модели, загруженные через эти библиотеки, можно экспортировать и оптимизировать, выполнив несколько дополнительных шагов.
Для инференса Optimum поддерживает экспорт и запуск через ONNX и ONNX Runtime, OpenVINO для оборудования Intel, ExecuTorch для мобильных и периферийных устройств, AWS Inferentia, NVIDIA TensorRT-LLM и другие платформы. Экспортировать и оптимизировать модели можно из кода на Python или через командную строку. Также поддерживается квантование с помощью отдельного бэкенда Quanto для PyTorch.
Для обучения Optimum предлагает обёртки над Transformers Trainer для ускорителей Intel Gaudi и AWS Trainium, а также ускорение на GPU через ONNX Runtime. Некоторые бэкенды перенесены в отдельные сопутствующие пакеты, например optimum-onnx и optimum-intel, поэтому способ установки зависит от целевого ускорителя.
Установите Optimum с помощью pip
python -m pip install optimumУстановите дополнения для ускорителя, подходящие для вашего оборудования (например, ONNX Runtime)
pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.
Кроссплатформенный ускоритель для запуска ML-моделей, экспортированных в формат ONNX, с поддержкой обучения с помощью PyTorch-скриптов.
Python-библиотека для классификации текстов, которая на лету обучается на новых примерах и классах, калибрует уверенность и выявляет выход за пределы распределения.
Python-фреймворк для сжатия нейросетей с помощью квантования, прореживания и разреживания, ускоряющий инференс в OpenVINO, PyTorch и ONNX.
Библиотека NVIDIA с открытым исходным кодом для сжатия моделей глубокого обучения с помощью квантования, pruning, дистилляции, разреженности и спекулятивного декодирования, ускоряющих инференс.
OCR-инструментарий с открытым исходным кодом для быстрого офлайн-распознавания текста на моделях PaddleOCR, конвертированных в ONNX и работающих в Python и других средах.