英偉達(dá)張量RT 8 概述

NVIDIA 張量RT 是一個(gè)高性能推理平臺(tái)，對(duì)于利用 NVIDIA 張量核心 GPU 的強(qiáng)大功能至關(guān)重要。TensorRT 8 是一個(gè)具有增強(qiáng)功能的軟件開發(fā)工具包，旨在提高性能和準(zhǔn)確性，以應(yīng)對(duì)邊緣和嵌入式設(shè)備中發(fā)生的越來(lái)越多的 AI 推理。它允許對(duì)張量流和PyTorch神經(jīng)網(wǎng)絡(luò)進(jìn)行廣泛的計(jì)算推斷。

與僅 CPU 平臺(tái)相比，TensorRT 可提供高達(dá) 40 倍的吞吐量，同時(shí)最大限度地減少延遲。它允許您從任何框架開始，并在生產(chǎn)中快速優(yōu)化、驗(yàn)證和部署經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

新版本在 NVIDIA 安培 GPU 上集成了稀疏性，可修剪對(duì)網(wǎng)絡(luò)整體計(jì)算無(wú)貢獻(xiàn)的弱連接。此外，張量RT 8 支持變壓器優(yōu)化和 BERT 大。變壓器優(yōu)化可提高性能，而量化感知訓(xùn)練可提高準(zhǔn)確性。

英偉達(dá)的張量RT 8 有什么新功能？

推理的目的是在訓(xùn)練階段盡可能多地保持準(zhǔn)確性。訓(xùn)練的模型可以在硬件設(shè)備上運(yùn)行，以獲得客戶的最低響應(yīng)時(shí)間和最大的吞吐量。但是，盡可能精確的必要性有時(shí)可能與邊緣可用的內(nèi)存量和吞吐量發(fā)生沖突。訓(xùn)練有素、高度準(zhǔn)確的模型可能運(yùn)行速度太慢。

因此，TensorRT版本8結(jié)合了深度學(xué)習(xí)推理或訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用的最新進(jìn)展，以理解數(shù)據(jù)如何影響響應(yīng)。它使用兩個(gè)主要功能將語(yǔ)言查詢推理時(shí)間減少一半：

英偉達(dá)安培架構(gòu)的稀疏性

深度神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)各種任務(wù)，如計(jì)算機(jī)視覺、語(yǔ)音識(shí)別和自然語(yǔ)言處理。隨著處理這些神經(jīng)網(wǎng)絡(luò)所需的計(jì)算能力的增加，高效的建模和計(jì)算變得越來(lái)越重要。

稀疏是采用 NVIDIA 安培架構(gòu)的 GPU 的一種全新性能方法，通過(guò)減少計(jì)算流程來(lái)提高開發(fā)人員的效率。深度學(xué)習(xí)模型的其他方面不如其他方面重要，有些甚至可能為零。因此，神經(jīng)網(wǎng)絡(luò)不需要對(duì)特定權(quán)重或參數(shù)進(jìn)行計(jì)算。因此，NVIDIA 可以通過(guò)使用稀疏性將模型的權(quán)重減少近一半來(lái)增強(qiáng)性能、吞吐量和延遲。

通過(guò)變壓器優(yōu)化減少推理計(jì)算

在張量RT 8中，性能增強(qiáng)是通過(guò)變壓器優(yōu)化實(shí)現(xiàn)的。量化開發(fā)人員可以利用訓(xùn)練的模型通過(guò) 8 位計(jì)算 （INT8） 執(zhí)行推理。這大大減少了張量核心中的推理計(jì)算和存儲(chǔ)。INT8 越來(lái)越多地用于優(yōu)化機(jī)器學(xué)習(xí)框架，如張量流和 NVIDIA 的張量壓縮包，以減少內(nèi)存和計(jì)算需求。因此，NVIDIA可以在張量RT 8上提供非常高的性能，同時(shí)保持準(zhǔn)確性。

例如，量化感知訓(xùn)練 （QAT） 有可能將準(zhǔn)確性提高一倍。因此，與舊版本張量RT 7相比，張量RT 8可以將許多模型的性能提高一倍。

張量RT部署在眾多行業(yè)中

TensorRT更好的性能和準(zhǔn)確性使其成為醫(yī)療保健，汽車，互聯(lián)網(wǎng)/電信服務(wù)，金融服務(wù)和零售等行業(yè)的熱門選擇。例如，張量RT用于為GE醫(yī)療保健的心血管超聲系統(tǒng)提供動(dòng)力。數(shù)字診斷解決方案提供商使用該技術(shù)在其 Vivid E95 掃描器上加速了自動(dòng)心臟視圖檢測(cè)。心臟病專家可以通過(guò)使用改進(jìn)的視圖檢測(cè)算法，在早期階段做出更準(zhǔn)確的診斷和檢測(cè)疾病。此外，TensorRT還被Verizon，福特，美國(guó)郵政服務(wù)，美國(guó)運(yùn)通和其他知名公司使用。

隨著張量RT 8的發(fā)布，NVIDIA還推出了使用張量RT的Google BERT大推理的突破，來(lái)自變形金剛的雙向編碼器表示（BERT）是一種基于變壓器的機(jī)器學(xué)習(xí)技術(shù)，用于預(yù)訓(xùn)練自然語(yǔ)言處理。BERT-Large 模型只需 1.2 毫秒進(jìn)行分析，從而可以實(shí)時(shí)響應(yīng)自然語(yǔ)言查詢。這意味著公司可以將其模型的尺寸增加一倍或三倍，以提高準(zhǔn)確性。

像 BERT-Large 這樣的語(yǔ)言模型被許多推理服務(wù)在幕后使用。另一方面，基于語(yǔ)言的應(yīng)用程序通常無(wú)法識(shí)別細(xì)微差別或情感，從而導(dǎo)致整體糟糕的體驗(yàn)?，F(xiàn)在，公司可以使用張量RT 8在幾毫秒內(nèi)部署整個(gè)工作流程。這些突破可以為新一代對(duì)話式AI應(yīng)用程序鋪平道路，為用戶提供更智能、更低的延遲體驗(yàn)。

審核編輯：郭婷