在首次參加行業(yè) MLPerf 基準(zhǔn)測試時，基于 NVIDIA Ampere 架構(gòu)的低功耗系統(tǒng)級芯片 NVIDIA Orin 就創(chuàng)造了新的AI推理性能紀(jì)錄，并在邊緣提升每個加速器的性能。

在此次第五輪生產(chǎn)級AI行業(yè)基準(zhǔn)測試中，NVIDIA 及其合作伙伴繼續(xù)在所有機(jī)器學(xué)習(xí)的工作負(fù)載和場景中展現(xiàn)出了高性能和廣泛的生態(tài)系統(tǒng)。

在邊緣AI領(lǐng)域，NVIDIA Orin 預(yù)生產(chǎn)版本在六項性能測試中的五項處于領(lǐng)先地位，其運行速度比上一代 Jetson AGX Xavier 快了 5 倍，能效平均提高了 2 倍。

NVIDIA Orin 現(xiàn)已加入到用于機(jī)器人和自動化系統(tǒng)的 NVIDIA Jetson AGX Orin 開發(fā)者套件。包括亞馬遜網(wǎng)絡(luò)服務(wù)、約翰迪爾、小松、美敦力和微軟 Azure 在內(nèi)的 6000 多家客戶使用 NVIDIA Jetson 平臺進(jìn)行AI推理或其他任務(wù)。

這款系統(tǒng)級芯片也是 NVIDIA Hyperion 自動駕駛汽車平臺的關(guān)鍵組成部分。中國最大的電動汽車制造商比亞迪近期宣布，他們將在其新一代自動駕駛電動汽車中使用內(nèi)置 Orin的DRIVE Hyperion 架構(gòu)。

Orin 同樣也是 NVIDIA Clara Holoscan 醫(yī)療設(shè)備平臺的關(guān)鍵組成部分，且該平臺可供系統(tǒng)制造商和研究人員用來開發(fā)新一代 AI 儀器。

小模塊合體成為大堆棧

包括 Jetson AGX Orin 在內(nèi)的 NVIDIA GPU 是唯一能夠運行所有六項 MLPerf 基準(zhǔn)測試的邊緣加速器。

憑借 JetPack SDK，Orin 可以運行整個 NVIDIA AI 平臺，這個軟件堆棧已經(jīng)在數(shù)據(jù)中心和云端得到了驗證，并且獲得了 NVIDIA Jetson 平臺 100 萬名開發(fā)者的支持。

在最新一輪 MLPerf 推理測試中，NVIDIA 及合作伙伴繼續(xù)在所有測試和場景中展現(xiàn)出領(lǐng)先的性能。

MLPerf 基準(zhǔn)得到了亞馬遜、ARM 、百度、戴爾科技、Facebook 、谷歌、哈佛大學(xué)、英特爾、聯(lián)想、微軟、斯坦福大學(xué)和多倫多大學(xué)等機(jī)構(gòu)的廣泛支持。

更多的合作伙伴與結(jié)果提交數(shù)量

NVIDIA AI 平臺再次吸引了來自最廣泛合作伙伴生態(tài)系統(tǒng)的最多 MLPerf 提交。

Azure 在 12 月份的 MLPerf 訓(xùn)練測試中表現(xiàn)出色，在本輪 AI 推理測試中也取得了優(yōu)異的成績，這兩場測試都使用了 NVIDIA A100 Tensor CoreGPU。Azure 的 ND96amsr_A100_v4 實例在幾乎所有推理測試中都與我們提交的性能最高的 8 個 GPU 相媲美，展現(xiàn)了公共云隨時可以提供的能力。

系統(tǒng)制造商華碩和新華三在本輪測試中首次使用 NVIDIA AI 平臺提交 MLPerf 結(jié)果。他們加入了戴爾科技、富士通、技嘉、浪潮、聯(lián)想、寧暢和美超微等已經(jīng)提交了二十多個 NVIDIA 認(rèn)證系統(tǒng)結(jié)果的系統(tǒng)制造商的行列。

MLPerf 的重要性

我們的合作伙伴深知 MLPerf 是一個客戶用來評估 AI 平臺和供應(yīng)商的寶貴工具，因此紛紛參與這項測試。

MLPerf 的各項測試涵蓋了當(dāng)下最流行的 AI 工作負(fù)載和場景，用戶可以依據(jù)該基準(zhǔn)了解 AI 平臺在各類工作中的預(yù)期性能。

憑借軟件大放異彩

我們在測試中使用的所有軟件都可以從 MLPerf 軟件庫中獲得。

我們的推理結(jié)果來自兩個關(guān)鍵組件——用于優(yōu)化 AI 模型的 NVIDIA TensorRT 和用于高效部署模型的 NVIDIA Triton 推理服務(wù)器。您可以在我們的 GPU 優(yōu)化軟件目錄 NGC 上免費獲得它們。

全球各地的企業(yè)機(jī)構(gòu)正在采用 Triton，包括 Amazon 和微軟等云服務(wù)提供商。

我們不斷將優(yōu)化成果加入到 NGC 上的容器中，讓每一位用戶都能使用具有領(lǐng)先性能的 AI 進(jìn)行生產(chǎn)。