Repolode
Enviar
huggingface

huggingface/optimum-nvidia

Biblioteca da Hugging Face que acelera a geração de texto com transformers em GPUs NVIDIA usando TensorRT-LLM, com uma mudança de uma linha no código.

Ver no GitHub
Estrelas
1,039
Forks
106
Issues abertas
59
Último commit
mês passado

O que é?

Optimum-NVIDIA é uma biblioteca da Hugging Face para executar inferência de LLMs mais rapidamente em hardware NVIDIA. Ela envolve as interfaces transformers pipeline e AutoModelForCausalLM, permitindo que o código transformers existente use o backend otimizado com a alteração do import. O projeto é baseado em TensorRT-LLM e oferece opções como quantização FP8, comprimentos máximos de prompt e saída e tamanho do batch.

Atualmente, o projeto acelera a geração de texto para modelos de linguagem causal com arquitetura LLaMA. A instalação via pip é validada no Ubuntu e requer Python 3.10, OpenMPI e uma GPU NVIDIA compatível; também há uma imagem Docker publicada. FP8 requer GPUs Hopper ou Ada-Lovelace, e o projeto é testado em RTX 4090, L40S e H100.

Optimum-NVIDIA é voltado a equipes que servem modelos da família Llama em GPUs NVIDIA e querem maior throughput sem reescrever o código transformers. O suporte a outras arquiteturas de modelos e tarefas está listado como em andamento.

Recursos principais

  • 01Substituição direta de transformers pipeline e AutoModelForCausalLM com uma alteração de uma linha no import.
  • 02Quantização FP8 em GPUs Hopper e Ada-Lovelace.
  • 03Comprimento máximo do prompt, comprimento da saída e tamanho do batch configuráveis.
  • 04Pacote pip e imagem Docker, com opção de compilação a partir do código-fonte baseada em TensorRT-LLM.
  • 05Compatível com opções de generate() da Hugging Face, como top_k, top_p e repetition_penalty.

Casos de uso

  • Servir modelos de chat da família LLaMA em GPUs NVIDIA com maior throughput.
  • Acelerar um pipeline de geração de texto transformers existente sem reescrever o código da aplicação.
  • Executar inferência quantizada em FP8 em servidores H100 ou L40S.

Início rápido

  1. 1

    Instalar pacotes do sistema (Ubuntu)

    apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
  2. 2

    Instalar optimum-nvidia com pip

    python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

Antes de usar

  • A instalação com pip só foi validada no Ubuntu.
  • É necessária uma GPU NVIDIA com arquitetura Ampere, Hopper ou Ada-Lovelace.
  • FP8 só está disponível em GPUs Hopper e Ada-Lovelace.
  • Atualmente, acelera apenas a geração de texto com LlamaForCausalLM.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#nvidia#tensorrt-llm#transformers#gpu#fp8#text-generation

Perguntas frequentes

O que é optimum-nvidia?
Biblioteca da Hugging Face que acelera a geração de texto com transformers em GPUs NVIDIA usando TensorRT-LLM, com uma mudança de uma linha no código. Optimum-NVIDIA é uma biblioteca da Hugging Face para executar inferência de LLMs mais rapidamente em hardware NVIDIA. Ela envolve as interfaces transformers pipeline e AutoModelForCausalLM, permitindo que o código transformers existente use o backend otimizado com a alteração do import. O projeto é baseado em TensorRT-LLM e oferece opções como quantização FP8, comprimentos máximos de prompt e saída e tamanho do batch.
optimum-nvidia é gratuito? Qual é a licença?
optimum-nvidia é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
optimum-nvidia ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de optimum-nvidia foi em 24 de set. de 2026.
Para que posso usar optimum-nvidia?
Servir modelos de chat da família LLaMA em GPUs NVIDIA com maior throughput. Acelerar um pipeline de geração de texto transformers existente sem reescrever o código da aplicação. Executar inferência quantizada em FP8 em servidores H100 ou L40S.
Como instalar optimum-nvidia?
Instalar pacotes do sistema (Ubuntu): apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev Instalar optimum-nvidia com pip: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia
Onde consigo optimum-nvidia?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/optimum-nvidia

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados