人工智能公司通常會關(guān)注一個標(biāo)準(zhǔn)：每秒更多 tera 操作 (TOPS)。不幸的是，當(dāng)硅制造商宣傳他們的 TOPS 指標(biāo)時，他們并沒有真正提供準(zhǔn)確的指導(dǎo)。在大多數(shù)情況下，被炒作的數(shù)字并不是真正的 TOPS，而是峰值 TOPS。換句話說，你認(rèn)為你在卡中獲得的 TOPS 數(shù)字實際上是芯片在一個非常完美的世界中表現(xiàn)的最佳情況。

我將討論行業(yè)因錯誤標(biāo)記性能指標(biāo)而造成的問題，并解釋用戶如何獨立評估現(xiàn)實世界的 TOPS。

人造上衣與真上衣

AI 應(yīng)用程序開發(fā)人員通常會通過衡量芯片制造商發(fā)布的 TOPS 性能數(shù)據(jù)是否足以支持他們的項目來開始進(jìn)行盡職調(diào)查。

假設(shè)您嘗試在 U-Net 神經(jīng)網(wǎng)絡(luò)上以 10 fps（每秒幀數(shù)）重新制作全高清圖像。由于 U-Net 操作每張圖像需要 3 TOPS，簡單的數(shù)學(xué)表示您需要 30 TOPS 才能以所需的 FPS 完成項目。因此，在購買芯片時，您會假設(shè)聲稱運(yùn)行 50、40 甚至 32 TOPS 的卡對項目來說是安全的。在一個完美的世界里，是的，但你很快就會發(fā)現(xiàn)這張卡很少能達(dá)到廣告的數(shù)字。而且我們不是在談?wù)搩H僅幾滴TOPS；計算效率可低至 10%。

雖然調(diào)整神經(jīng)網(wǎng)絡(luò)以從卡中獲得更好的性能當(dāng)然是可能的，但您幾乎不可能接近供應(yīng)商列出的峰值 TOPS。試圖獲得 60% 或 70% 的計算效率將耗費(fèi)大量時間。如果神經(jīng)網(wǎng)絡(luò)發(fā)生任何變化，您將不得不回到原點重新優(yōu)化所有內(nèi)容——但它甚至可能不適用于您的應(yīng)用程序。這個問題對于小批量處理尤其明顯；你會很幸運(yùn)能獲得超過 15% 的峰值 TOPS。

計算效率

此時，您可能想知道如何計算真正的 TOPS。這很簡單！

要了解特定卡將提供多少真實 TOPS，您首先需要確定該卡的計算效率。理想情況下，這可以通過簡單地在目標(biāo)卡上運(yùn)行所需的神經(jīng)網(wǎng)絡(luò)來完成。但是，您可能沒有該卡。您仍然可以通過查看供應(yīng)商的營銷數(shù)據(jù)的詳細(xì)信息來進(jìn)行估算。通?？梢垣@得像 ResNet50（或類似的）這樣的神經(jīng)網(wǎng)絡(luò)的性能數(shù)據(jù)。假設(shè)這是一個典型的 ResNet50 實現(xiàn)，您可以找到計算單個圖像的每秒千兆操作數(shù)（GOPS，而不是 TOPS）。然后，只需將其乘以供應(yīng)商宣傳的每秒圖像數(shù) (IPS)，瞧！您就有了更真實的 TOPS 或“真實”TOPS。

效率只是 real 除以峰值 TOPS 的比率，或者：

峰值 TOPS x 計算效率 = 實際 TOPS

這個公式使用戶能夠在購買任何東西之前比較卡在運(yùn)行神經(jīng)網(wǎng)絡(luò)時的真實效率。您可以使用所需的 TOPS 重用效率，看看它是否符合您的需求。雖然功率和批量大小等因素會影響結(jié)果，但如果您知道卡的效率，則此公式可以很好地估計其在實際用例中的實際性能。當(dāng)然，供應(yīng)商發(fā)布的神經(jīng)網(wǎng)絡(luò)的 IPS 仍然可以質(zhì)疑，但至少估計比比較你真正需要的 TOPS 和一張卡的峰值 TOPS 更好。

還值得注意的是，這不僅僅是 GPU 問題。大多數(shù)專業(yè) ASIC 的實際效率非常低，即使他們的營銷促進(jìn)了高效率。只需使用 IPS、已知的網(wǎng)絡(luò) GOPS 和簡單的乘法運(yùn)算，您就可以了解一個真實的數(shù)字。

高效的替代品

盡管 GPU 和 ASIC 都在效率和性能上苦苦掙扎，但有一種替代解決方案不涉及這些芯片中的任何一個。

2020 年 10 月的 MLPerf 結(jié)果表明，與推理加速相結(jié)合的 FPGA 比其他替代方案的效率要高得多，因此可以更接近其他芯片制造商宣傳的最高 TOPS 數(shù)。

比較不同架構(gòu)下每個發(fā)布的 TOPS 數(shù)據(jù)的每秒幀數(shù) (FPS)（來源：Mipsology）

FPGA 不僅在計算方面更高效，而且在計算硅片使用方面也更高效。從本質(zhì)上講，這些卡“事半功倍”，從而以一小部分成本獲得更好的神經(jīng)網(wǎng)絡(luò)性能。

值得重復(fù)一遍：買家不應(yīng)該因為 TOPS 營銷炒作而墮落。這是一個夸大的性能數(shù)字，大多數(shù)神經(jīng)網(wǎng)絡(luò)在現(xiàn)實條件下永遠(yuǎn)不會看到。相反，利用這個公式：

峰值 TOPS x 計算效率 = 實際 TOPS

這樣做將幫助您快速、輕松、準(zhǔn)確地將您的性能需求與芯片的實際性能進(jìn)行比較，而不是任何夸大的供應(yīng)商聲稱。

——Ludovic Larzul 是 Mipsology 的創(chuàng)始人兼首席執(zhí)行官。

審核編輯 黃昊宇