人工智能繼續(xù)推動跨行業(yè)的突破性創(chuàng)新，包括消費互聯(lián)網(wǎng)、醫(yī)療保健和生命科學(xué)、金融服務(wù)、零售、制造和超級計算。研究人員繼續(xù)推動快速發(fā)展的模型在規(guī)模、復(fù)雜度和多樣性方面的發(fā)展。此外，其中許多復(fù)雜的大規(guī)模模型需要為聊天機(jī)器人、數(shù)字助理和欺詐檢測等人工智能支持的服務(wù)提供實時結(jié)果。

考慮到人工智能推理的廣泛用途，評估性能對開發(fā)人員和基礎(chǔ)設(shè)施管理人員提出了許多挑戰(zhàn)。對于數(shù)據(jù)中心、 edge 和移動平臺上的 AI 推理， MLPerf 推理 1.1 是一個行業(yè)標(biāo)準(zhǔn)基準(zhǔn)，用于衡量計算機(jī)視覺、醫(yī)學(xué)成像、自然語言和推薦系統(tǒng)的性能。這些基準(zhǔn)由人工智能行業(yè)領(lǐng)導(dǎo)者組成的聯(lián)盟制定，為人工智能培訓(xùn)和推理提供了當(dāng)今最全面的同行評審績效數(shù)據(jù)集。

要在這一基準(zhǔn)測試中完成大量測試，需要一個具有強(qiáng)大生態(tài)系統(tǒng)支持的全堆棧平臺，無論是框架還是網(wǎng)絡(luò)。 NVIDIA 是唯一一家提交所有數(shù)據(jù)中心和邊緣測試并提供全面領(lǐng)先性能的公司。

這項工作的一個重要副產(chǎn)品是，這些優(yōu)化中的許多已經(jīng)進(jìn)入了推理開發(fā)工具，如TensorRT和 NVIDIA Triton 。用于高性能深度學(xué)習(xí)推理的 TensorRT SDK 包括一個深度學(xué)習(xí)推理優(yōu)化器和運行時，為深度學(xué)習(xí)推理應(yīng)用程序提供低延遲和高吞吐量。

Triton 推理服務(wù)器軟件簡化了人工智能模型在大規(guī)模生產(chǎn)中的部署。這種開源推理服務(wù)軟件使團(tuán)隊能夠在任何基于 GPU 或 CPU 的基礎(chǔ)設(shè)施上從本地存儲或云平臺的任何框架部署經(jīng)過培訓(xùn)的人工智能模型。

按數(shù)字

在數(shù)據(jù)中心和邊緣兩大類中， NVIDIA 憑借 NVIDIA A100 張量核 GPU 和 NVIDIA A30 張量核 GPU 在性能測試中名列榜首。自從 MLPerf 推斷 0.7 的結(jié)果發(fā)布以來，在過去一年中， NVIDIA 僅通過軟件改進(jìn)就提高了 50% 的性能。

在另一個行業(yè)中， NVIDIA 首次使用基于 GPU – 加速 ARM 的服務(wù)器提交數(shù)據(jù)中心類別，該服務(wù)器支持所有工作負(fù)載，并提供與類似配置的基于 x86 的服務(wù)器相同的結(jié)果。這些基于 ARM 的新提交為 GPU 加速 ARM 服務(wù)器創(chuàng)造了新的性能世界記錄。這標(biāo)志著這些平臺的一個重要里程碑，因為它們現(xiàn)在已經(jīng)在同行評審的行業(yè)標(biāo)準(zhǔn)基準(zhǔn)中證明了自己，以提供市場領(lǐng)先的性能。它還展示了 NVIDIA ARM 軟件生態(tài)系統(tǒng)的性能、多功能性和就緒性，以應(yīng)對數(shù)據(jù)中心的計算挑戰(zhàn)。

圖 1 。使用 Ampere Altra CPU s 的基于 ARM 的服務(wù)器提供的性能與類似配置的基于 x86 的服務(wù)器相當(dāng)

MLPerf v1.1 推理關(guān)閉；每個加速器的性能源自使用數(shù)據(jù)中心脫機(jī)中報告的加速器計數(shù)的各個提交的最佳 MLPerf 結(jié)果。 x86 服務(wù)器： 1.1-034 、 ARM 服務(wù)器： 1.1-033 MLPerf 名稱和徽標(biāo)是商標(biāo)。

綜觀整體表現(xiàn)， NVIDIA 全面領(lǐng)先。圖 2 顯示了服務(wù)器場景的結(jié)果，其中使用泊松分布為測試中的系統(tǒng)生成推理工作，以更緊密地模擬真實世界的工作負(fù)載模式。

圖 2 。 NVIDIA 與 CPU 純服務(wù)器的性能比較

MLPerf v1.1 推理關(guān)閉；使用數(shù)據(jù)中心脫機(jī)和服務(wù)器中報告的加速器計數(shù)，從各個提交的最佳 MLPerf 結(jié)果中得出每個加速器的性能。高通 AI 100 ： 1.1-057 和 1.1-058 ，英特爾至強(qiáng) 8380 ： 1.1-023 和 1.1-024 ， NVIDIA A30 ： 1.1-43 ， NVIDIA A100 （ ARM ）： 1.1-033 ， NVIDIA A100 （ x86 ）： 1.1-047 。 MLPerf 名稱和徽標(biāo)是商標(biāo)。

NVIDIA 比 CPU 純服務(wù)器的性能全面提高了 104 倍。這種性能優(yōu)勢轉(zhuǎn)化為對更大、更復(fù)雜的模型以及在對話 AI 、推薦系統(tǒng)和數(shù)字助理中實時作業(yè)中運行的多個模型進(jìn)行推理的能力。

結(jié)果背后的優(yōu)化

我們的工程團(tuán)隊實施了一些優(yōu)化，使這些偉大的結(jié)果成為可能。首先，基于 ARM 的服務(wù)器和基于 x86 的服務(wù)器的所有這些結(jié)果都是使用 TensorRT 8 生成的，現(xiàn)在普遍可用。特別令人感興趣的是雙內(nèi)核的非冪函數(shù)的使用，這是為了加速工作負(fù)載而實現(xiàn)的，比如 BERT – 大型單流場景測試。

NVIDIA 提交利用添加到 NVIDIA Triton 推理服務(wù)器的新主機(jī)策略功能。您可以在配置 NVIDIA Triton 服務(wù)器時指定主機(jī)策略，以在服務(wù)器應(yīng)用程序中啟用線程和內(nèi)存固定。利用此功能， NVIDIA Triton 可以為系統(tǒng)中的每個 GPU 指定輸入的最佳位置。最佳位置可以基于系統(tǒng)的非統(tǒng)一內(nèi)存體系結(jié)構(gòu)（ NUMA ）配置，在這種情況下，每個 NUMA 節(jié)點上都有一個查詢樣本庫。

您還可以使用主機(jī)策略啟用“從設(shè)備啟動”配置設(shè)置，服務(wù)器將在選擇執(zhí)行的 GPU 上拾取輸入。此設(shè)置還可以將網(wǎng)絡(luò)輸入直接輸入 GPU 內(nèi)存，完全繞過 CPU 和系統(tǒng)內(nèi)存副本。

推理能力三人組： TensorRT ， NVIDIA Triton 和 NGC

NVIDIA 推理領(lǐng)導(dǎo)力來自于構(gòu)建最優(yōu)秀的人工智能加速器，用于培訓(xùn)和推理。但同樣重要的是支持所有 AI 框架和 800 多個 HPC 應(yīng)用程序的 NVIDIA 端到端、全棧軟件生態(tài)系統(tǒng)。

所有這些軟件都可以在NGC、 NVIDIA 集線器上獲得，該集線器帶有 GPU ——用于深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和 HPC 的優(yōu)化軟件。 NGC 負(fù)責(zé)所有管道，因此數(shù)據(jù)科學(xué)家、開發(fā)人員和研究人員可以專注于構(gòu)建解決方案、收集 i NSight 并提供業(yè)務(wù)價值。

NGC 可通過您首選的云提供商的市場免費獲得。在那里，您可以找到 TensorRT 和 NVIDIA Triton 的最新版本，這兩個版本都有助于生成最新的 MLPerf 推斷 1.1 結(jié)果。

關(guān)于作者

Dave Salvator 是 NVIDIA 旗下 Tesla 集團(tuán)的高級產(chǎn)品營銷經(jīng)理，專注于超規(guī)模、深度學(xué)習(xí)和推理。

Jesus Corbal San Adrian 是 NVIDIA 計算架構(gòu)組的杰出工程師，專注于深度學(xué)習(xí)推理 GPU 分析和優(yōu)化。

Madhumitha Sridhara 是 TensorRT 團(tuán)隊的高級軟件工程師，專注于使用 Triton 推理服務(wù)器的 NVIDIA MLPerf推理提交。她擁有卡內(nèi)基梅隆大學(xué)計算機(jī)工程碩士學(xué)位和印度卡納塔克邦蘇拉特卡爾國家理工學(xué)院電子和通信工程學(xué)士學(xué)位。

審核編輯：郭婷