Repolode
Enviar
huggingface

huggingface/optimum-nvidia

Biblioteca de Hugging Face que acelera la generación de texto con transformers en GPU NVIDIA mediante TensorRT-LLM, con un cambio de una línea en el código.

Ver en GitHub
Estrellas
1,039
Forks
106
Issues abiertos
59
Último commit
el mes pasado

¿Qué es?

Optimum-NVIDIA es una biblioteca de Hugging Face para ejecutar inferencias con LLM más rápido en hardware NVIDIA. Envuelve las interfaces transformers pipeline y AutoModelForCausalLM, de modo que el código existente de transformers puede usar el backend optimizado con solo cambiar el import. El proyecto se basa en TensorRT-LLM y ofrece opciones como la cuantización FP8, las longitudes máximas del prompt y de la salida, y el tamaño del batch.

Actualmente, el proyecto acelera la generación de texto para modelos de lenguaje causal con arquitectura LLaMA. La instalación con pip está validada en Ubuntu y requiere Python 3.10, OpenMPI y una GPU NVIDIA compatible; también se publica una imagen de Docker. FP8 requiere GPU Hopper o Ada-Lovelace, y el proyecto se prueba en RTX 4090, L40S y H100.

Optimum-NVIDIA está dirigido a equipos que sirven modelos de la familia Llama en GPU NVIDIA y buscan un mayor rendimiento sin reescribir su código de transformers. La compatibilidad con otras arquitecturas de modelos y tareas figura como trabajo en curso.

Funciones clave

  • 01Reemplazo directo de transformers pipeline y AutoModelForCausalLM con un cambio de una línea en el import.
  • 02Cuantización FP8 en GPU Hopper y Ada-Lovelace.
  • 03Longitud máxima del prompt, longitud de la salida y tamaño del batch configurables.
  • 04Paquete de pip e imagen de Docker, con opción de compilar desde el código fuente basada en TensorRT-LLM.
  • 05Admite opciones de generate() de Hugging Face, como top_k, top_p y repetition_penalty.

Casos de uso

  • Servir modelos de chat de la familia LLaMA en GPU NVIDIA con mayor rendimiento.
  • Acelerar un pipeline existente de generación de texto con transformers sin reescribir el código de la aplicación.
  • Ejecutar inferencias cuantizadas en FP8 en servidores H100 o L40S.

Inicio rápido

  1. 1

    Instalar los paquetes del sistema (Ubuntu)

    apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
  2. 2

    Instalar optimum-nvidia con pip

    python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

Antes de usarlo

  • La instalación con pip solo se ha validado en Ubuntu.
  • Se requiere una GPU NVIDIA con arquitectura Ampere, Hopper o Ada-Lovelace.
  • FP8 solo está disponible en GPU Hopper y Ada-Lovelace.
  • Actualmente, solo acelera la generación de texto con LlamaForCausalLM.

En colecciones

Ejecuta LLM en localEntrena y ejecuta IA en GPU

Temas

#llm-inference#nvidia#tensorrt-llm#transformers#gpu#fp8#text-generation

Preguntas frecuentes

¿Qué es optimum-nvidia?
Biblioteca de Hugging Face que acelera la generación de texto con transformers en GPU NVIDIA mediante TensorRT-LLM, con un cambio de una línea en el código. Optimum-NVIDIA es una biblioteca de Hugging Face para ejecutar inferencias con LLM más rápido en hardware NVIDIA. Envuelve las interfaces transformers pipeline y AutoModelForCausalLM, de modo que el código existente de transformers puede usar el backend optimizado con solo cambiar el import. El proyecto se basa en TensorRT-LLM y ofrece opciones como la cuantización FP8, las longitudes máximas del prompt y de la salida, y el tamaño del batch.
¿optimum-nvidia es gratuito? ¿Qué licencia tiene?
optimum-nvidia es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿optimum-nvidia sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de optimum-nvidia fue el 24 sept 2026.
¿Para qué puedo usar optimum-nvidia?
Servir modelos de chat de la familia LLaMA en GPU NVIDIA con mayor rendimiento. Acelerar un pipeline existente de generación de texto con transformers sin reescribir el código de la aplicación. Ejecutar inferencias cuantizadas en FP8 en servidores H100 o L40S.
¿Cómo se instala optimum-nvidia?
Instalar los paquetes del sistema (Ubuntu): apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev Instalar optimum-nvidia con pip: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia
¿Dónde consigo optimum-nvidia?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/optimum-nvidia

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados