NVIDIA Model Optimizer：用统一流程压缩并加速深度学习模型
一分钟看懂
NVIDIA Model Optimizer 是一个模型优化 Python 库，面向 Hugging Face、PyTorch 和 ONNX 模型提供量化、剪枝、蒸馏、稀疏化、神经架构搜索和推测解码等技术，并把结果导出到常见推理框架。
你可以用它做什么
- 对大语言模型、视觉语言模型和扩散模型做训练后量化。
- 通过量化感知训练或知识蒸馏恢复压缩后的精度。
- 剪除不必要参数，降低模型大小、显存占用和推理成本。
- 将优化后的检查点部署到 TensorRT-LLM、TensorRT、vLLM 或 SGLang。
主要能力
- 用 Python API 组合多种模型优化技术。
- 支持 Hugging Face、PyTorch、ONNX 以及 NVIDIA Megatron 生态。
- 提供模型类型与优化技术的支持矩阵、示例和预量化检查点。
- 可从 PyPI 安装，也可使用预装在 NVIDIA 容器中的版本。
适合哪些人
适合需要降低生成式 AI 模型部署成本、提升推理吞吐或研究模型压缩技术的机器学习工程师和研究团队，尤其适用于 NVIDIA 推理软件栈。
怎么开始使用
可通过 pip install -U nvidia-modelopt[all] 安装稳定版，选择与模型类型相符的官方示例，再按支持矩阵执行量化或其他优化流程。生产部署前应在目标硬件和推理框架上重新评估精度、吞吐与显存。
使用前需要知道
部分技术需要训练数据、校准数据或额外训练步骤，实际收益会随模型、硬件、精度格式和推理框架而变化。项目仍处于 1.0 之前，官方说明小版本也可能包含破坏性变更；安装全部依赖还会引入第三方软件及其许可证。项目采用 Apache-2.0 许可证。