huggingface/optimum-nvidia

这是什么？

核心功能

• 01只需修改一行导入语句，即可替换 transformers 的 pipeline 和 AutoModelForCausalLM。
• 02在 Hopper 和 Ada-Lovelace 架构 GPU 上支持 FP8 量化。
• 03可配置最大提示长度、输出长度和批大小。
• 04提供 pip 包和 Docker 镜像，也支持基于 TensorRT-LLM 的源码构建。
• 05支持 top_k、top_p、repetition_penalty 等 generate() 生成参数。

适用场景

• 在 NVIDIA GPU 上以更高吞吐量部署 LLaMA 系列对话模型。
• 在不改动应用代码的前提下，加速已有的 transformers 文本生成流程。
• 在 H100 或 L40S 服务器上运行 FP8 量化推理。

快速上手

1. 1

   安装系统依赖（Ubuntu）

   apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
2. 2

   通过 pip 安装 optimum-nvidia

   python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

使用前须知

• !pip 安装目前仅在 Ubuntu 上验证过。
• !需要 Ampere、Hopper 或 Ada-Lovelace 架构的 NVIDIA GPU。
• !FP8 仅支持 Hopper 和 Ada-Lovelace 架构的 GPU。
• !目前仅支持加速 LlamaForCausalLM 的文本生成。

收录于专题

标签

常见问题

optimum-nvidia 是什么？

通过 TensorRT-LLM 在 NVIDIA GPU 上加速 transformers 文本生成的 Hugging Face 库，只需改一行代码。 Optimum-NVIDIA 是 Hugging Face 推出的库，用于在 NVIDIA 硬件上更快地运行大语言模型推理。它封装了 transformers 的 pipeline 和 AutoModelForCausalLM 接口，现有 transformers 代码只需修改导入语句即可切换到优化后端。项目基于 TensorRT-LLM 构建，提供 FP8 量化、最大提示与输出长度、批大小等配置选项。

optimum-nvidia 可以免费使用吗？用的什么许可证？

optimum-nvidia 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

optimum-nvidia 还在维护吗？

半年内有更新。optimum-nvidia 最近一次提交是在 2026年9月24日。

optimum-nvidia 适合用来做什么？

在 NVIDIA GPU 上以更高吞吐量部署 LLaMA 系列对话模型。 在不改动应用代码的前提下，加速已有的 transformers 文本生成流程。 在 H100 或 L40S 服务器上运行 FP8 量化推理。

optimum-nvidia 怎么安装和运行？

安装系统依赖（Ubuntu）: apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev 通过 pip 安装 optimum-nvidia: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

在哪里获取 optimum-nvidia？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/optimum-nvidia