Toolkit da Hugging Face para exportar e executar modelos Transformers, Diffusers, TIMM e Sentence-Transformers em hardwares específicos, com inferência e treinamento otimizados.
O Optimum amplia as bibliotecas Transformers, Diffusers, TIMM e Sentence-Transformers da Hugging Face com ferramentas para executar e treinar modelos com eficiência em hardwares específicos. Ele mantém a mesma API de alto nível, então é possível exportar e otimizar modelos carregados por essas bibliotecas com algumas etapas extras.
Para inferência, o Optimum oferece caminhos de exportação e execução para ONNX e ONNX Runtime, OpenVINO para hardware Intel, ExecuTorch para dispositivos móveis e de edge, AWS Inferentia, NVIDIA TensorRT-LLM, entre outros. A exportação e a otimização podem ser feitas em código Python ou pela linha de comando. Também há suporte a quantização por meio do backend separado Quanto para PyTorch.
Para treinamento, o Optimum oferece wrappers para o Trainer do Transformers voltados a aceleradores Intel Gaudi e AWS Trainium, além de aceleração com ONNX Runtime para GPUs. Vários backends foram transferidos para pacotes complementares próprios, como optimum-onnx e optimum-intel, então a instalação depende do acelerador de destino.
Instale o Optimum com pip
python -m pip install optimumInstale os complementos específicos do acelerador para o seu hardware (por exemplo, ONNX Runtime)
pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Ultralytics YOLOv5, toolkit de visão computacional baseado em PyTorch para detecção de objetos, segmentação de instâncias e classificação de imagens, com recursos de treinamento e exportação.
Acelerador multiplataforma para executar modelos de ML exportados no formato ONNX, com suporte ao treinamento de scripts do PyTorch.
Biblioteca Python para classificação de texto que aprende novos exemplos e classes em tempo de execução, com confiança calibrada e detecção de dados fora da distribuição.
Framework Python para comprimir redes neurais com quantização, pruning e esparsidade, acelerando a inferência no OpenVINO, PyTorch e ONNX.
Biblioteca open source da NVIDIA para compactar modelos de deep learning com quantização, pruning, destilação, esparsidade e speculative decoding, acelerando a inferência.
Kit de ferramentas de OCR de código aberto que executa modelos PaddleOCR convertidos para ONNX em Python e outros ambientes, para reconhecimento rápido de texto offline.