NVIDIA GPU曾于去年12月和今年7月兩度樹立了數(shù)據(jù)中心神經(jīng)網(wǎng)絡訓練的性能標桿。今天發(fā)布的行業(yè)基準測試結果顯示，NVIDIA也引領著數(shù)據(jù)中心內部與外部AI網(wǎng)絡的趨勢。

NVIDIA Turing GPU和Xavier芯片系統(tǒng)在首個獨立AI推理基準測試 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市場中最大、同時也是最具競爭力的領域，業(yè)內此前一直希望能夠有一套客觀的推理性能測試指標。

在參與此次測試的十二家公司中，只有NVIDIA AI平臺提交了MLPerf的全部五項推理測試成績（MLPerf是一個于2018年5月成立的行業(yè)基準測試小組）。這證明了NVIDIA CUDA-X AI和TensorRT軟件的成熟程度。它們讓用戶能夠更加輕松地將所有的NVIDIA GPU應用于數(shù)據(jù)中心、邊緣等領域。

MLPerf定義了五項推理基準，涵蓋了三個現(xiàn)有的人工智能應用：圖像分類、目標檢測和翻譯。每項基準分為四個場景：與數(shù)據(jù)中心應用關聯(lián)性最高的服務器和離線場景，以及用于滿足邊緣設備地芯片系統(tǒng)需求的單流和多流場景。

離線場景中具有代表性的場景有圖像標記等，該場景下所有數(shù)據(jù)可在本地使用；而服務器場景代表性場景有在線翻譯服務等，此場景下會突然或間歇性隨機出現(xiàn)數(shù)據(jù)和請求工作。

Xavier在兩個邊緣場景（單流和多流）中被評為市面上性能最佳的邊緣和移動芯片系統(tǒng)。

工業(yè)檢測相機主要被用來在快速移動的生產(chǎn)線上發(fā)現(xiàn)不合格品，這是一種典型的單流任務。多流場景則是測試芯片能夠處理多少個數(shù)據(jù)源 —— 該性能對于一輛可能需要使用6臺以上攝像機的自動駕駛汽車而言，是一項關鍵的能力。

該結果顯示了NVIDIA CUDA和TensorRT軟件的性能。它們?yōu)橛脩籼峁┝艘粋€通用平臺，使用戶可以在多個產(chǎn)品和應用中取得領先結果，而這正是NVIDIA所獨有的能力。

在數(shù)據(jù)中心場景中，NVIDIA的兩款GPU還出現(xiàn)了相互競爭的場面。NVIDIA TITAN RTX展示了Turing級 GPU的巨大潛力，尤其是在各種要求苛刻的任務中，比如運行用于語言翻譯的GNMT模型等。

功能豐富、應用廣泛的NVIDIA T4 Tensor Core GPU在多個場景取得了優(yōu)秀的成績。這個功耗僅為70瓦的GPU能夠輕松安裝到任何帶有PCIe槽的服務器中，使用戶能夠根據(jù)需要擴展其計算力，進而大幅擴展其推理工作。

MLPerf已經(jīng)獲得行業(yè)和學術界的廣泛支持。其成員包括Arm、Facebook、Futurewei、通用汽車、Google、哈佛大學、Intel、MediaTek、微軟、NVIDIA及Xilinx。值得一提的是，相比于之前的兩次訓練比賽，此次基準測試吸引了更多的參與者。

NVIDIA此次共采用了三款產(chǎn)品，共計四種配置參加此次測試，并提交了全部20個場景中的19個場景的成績，以此表明公司對這項工作的支持。NVIDIA的合作伙伴Dell EMC，以及NVIDIA的客戶阿里巴巴同樣使用NVIDIA GPU提交了成績。相比于其他參與者，NVIDIA與合作伙伴和客戶一同向用戶全面地展示了NVIDIA產(chǎn)品組合的潛力。

全新的視角與產(chǎn)品

推理指的是在實時生產(chǎn)系統(tǒng)中，通過運行AI模型，從大量數(shù)據(jù)中篩選出可執(zhí)行洞察的過程。這是一項仍處于發(fā)展中的新興技術，而NVIDIA也在該領域中不斷前進，未曾停止腳步。

今天，NVIDIA發(fā)布了用于MLPerf測試的Xavier芯片系統(tǒng)低功耗版本——Jetson Xavier NX，其最大功率僅為15瓦，卻具有最高21 TOPS的性能。它將為那些對性能要求高、但功率有限的新一代機器人、無人機和其他自主設備提供驅動力。

除了新的硬件之外，NVIDIA還發(fā)布了在MLPerf基準測試中所使用的最新TensorRT 6優(yōu)化，并在GitHub上以開源方式為用戶提供該軟件。用戶可以在MLPerf 開發(fā)者博客中了解更多關于這些優(yōu)化的信息。NVIDIA不斷地對該軟件進行升級，使用戶可以從日益增加的AI自動化與性能中獲益。

讓推理變得更簡單

今天的MLPerf測試還說明了一個結論，那就是推理很困難。例如，在實際工作負載中，由于推理還需要大量預處理和后處理步驟，那么在實際工作負載中其對推理性能的需求甚至比基準測試更高。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在去年GTC大會的主題演講中就曾將這種復雜性概括為一個詞：PLASTER。他表示，現(xiàn)代AI推理對可編程性（Programmability）、延遲性（Latency）、準確性（Accuracy）、模型大?。ˋccuracy）、吞吐量（Throughput）、能效（Energy efficiency）和學習率（Rate of Learning）的要求很高。

這就是為何用戶越來越喜歡使用高性能的NVIDIA GPU和軟件來處理各種要求苛刻的推理工作，其中就包括：BMW、Capital One、思科、Expedia、John Deere、微軟、PayPal、Pinterest、寶潔、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃爾瑪?shù)葮O具遠見的公司。

本周，全球最大的郵政服務系統(tǒng)——美國郵政，也加入了此行列，使用NVIDIA GPU進行AI訓練和推理。

硬盤制造商希捷希望通過在NVIDIA GPU上運行的AI推理將生產(chǎn)量提高10％。該公司預計，通過提高效率和質量，其將獲得高達300％的投資回報。

Pinterest依靠NVIDIA GPU訓練和評估其識別模型并對其1750億條Pin貼文執(zhí)行實時推理。

Snap使用NVIDIA T4加速器在谷歌云平臺上執(zhí)行推理。相比于僅采用了CPU的系統(tǒng)，這提高了其廣告的效果，同時降低了成本。

Twitter發(fā)言人就這一趨勢表示：“GPU的使用不僅大大縮短了訓練時間，還讓我們在推理時能夠實時了解直播視頻，讓我們可以在自己的平臺上了解各媒體?！?

AI會話：關于推理

未來，會話式AI將帶來大量的機會以及技術方面的挑戰(zhàn)。NVIDIA在這一領域同樣是當之無愧的領導者。

NVIDIA已經(jīng)為會話式AI服務提供了經(jīng)過優(yōu)化的參照設計，比如自動語音識別、文本-語言轉換和自然語言理解等。NVIDIA們的BERT、GNMT和Jasper等AI模型開源優(yōu)化幫助開發(fā)者實現(xiàn)頂尖推理性能。NVIDIA的客戶和合作伙伴中包括有會話式AI領域的一流公司，比如Kensho、微軟、Nuance、Optum等。

最后要補充的是，MLPerf小組已經(jīng)開始致力于改進其當前的0.5推理測試。NVIDIA將努力在基準測試中繼續(xù)發(fā)揮領導作用。