Kit de herramientas de Hugging Face para exportar y ejecutar modelos de Transformers, Diffusers, TIMM y Sentence-Transformers en hardware específico, con inferencia y entrenamiento optimizados.
Optimum amplía las bibliotecas Transformers, Diffusers, TIMM y Sentence-Transformers de Hugging Face con herramientas para ejecutar y entrenar modelos de forma eficiente en hardware específico. Mantiene la misma API de alto nivel, por lo que los modelos cargados con estas bibliotecas se pueden exportar y optimizar con unos pocos pasos adicionales.
Para inferencia, Optimum ofrece opciones de exportación y ejecución para ONNX y ONNX Runtime, OpenVINO para hardware Intel, ExecuTorch para dispositivos móviles y edge, AWS Inferentia, NVIDIA TensorRT-LLM, entre otras. La exportación y optimización se pueden realizar desde código Python o desde la línea de comandos. También admite cuantización mediante el backend independiente Quanto para PyTorch.
Para entrenamiento, Optimum ofrece wrappers de Transformers Trainer para aceleradores Intel Gaudi y AWS Trainium, además de aceleración con ONNX Runtime para GPU. Varios backends se han trasladado a paquetes complementarios propios, como optimum-onnx y optimum-intel, por lo que la instalación depende del acelerador de destino.
Instala Optimum con pip
python -m pip install optimumInstala los complementos específicos del acelerador para tu hardware (p. ej., ONNX Runtime)
pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Ultralytics YOLOv5 es un kit de herramientas de visión artificial basado en PyTorch para detectar objetos, segmentar instancias y clasificar imágenes, con funciones de entrenamiento y exportación.
Acelerador multiplataforma para ejecutar modelos de ML exportados al formato ONNX, con compatibilidad para entrenar mediante scripts de PyTorch.
Librería de Python para clasificar textos que aprende de nuevos ejemplos y clases en tiempo de ejecución, con confianza calibrada y detección de datos fuera de distribución.
Framework de Python para comprimir redes neuronales mediante cuantización, pruning y sparsity, y acelerar la inferencia en OpenVINO, PyTorch y ONNX.
Biblioteca open source de NVIDIA para comprimir modelos de deep learning mediante cuantización, poda, destilación, sparsity y speculative decoding, y acelerar la inferencia.
Kit de herramientas OCR de código abierto que ejecuta modelos de PaddleOCR convertidos a ONNX en Python y otros entornos, para reconocer texto rápidamente sin conexión.