關(guān)于“GPU性能的硅前預(yù)測”的5個問題

當我們談?wù)?a href="http://www.makelele.cn/tags/gpu/" target="_blank">GPU性能的時候就不能回避PPA這個概念。性能(Performance)、功耗(Power）、面積(Area)組成了現(xiàn)代大型芯片的三維。硬件架構(gòu)、頻率和工藝制程共同決定了一塊芯片在PPA三角形中的表現(xiàn)。創(chuàng)造完美的“三邊型戰(zhàn)士”需要付出巨大的代價，而我們的目標是在成本可控的情況下做出更符合客戶需求的芯片。PPA是在芯片立項之初就有明確的設(shè)計指標，而性能這一項涉及到了各個子模塊的協(xié)作，需要從設(shè)計開始就同步進行方案的驗證。

圖1：PPA介紹

接下來讓我們通過5個問題來進一步了解“GPU性能的硅前預(yù)測”。

為什么要關(guān)心硅前性能???

人們都很認可“GPU性能非常關(guān)鍵”這一觀點。從2011年到2022年，GPU單卡算力提高了10倍以上，而GDDR/HBM帶寬提高大約2倍以上。對于國產(chǎn)GPU而言，能夠提供與國際一線大廠媲美的性能是關(guān)鍵點所在。因此，無論是GPU硬件和軟件架構(gòu)師，還是市場客戶都對Benchmark在GPU硅前階段的性能預(yù)測很感興趣。硅前性能的預(yù)測結(jié)果對設(shè)計驗證、軟件開發(fā)和市場客戶極具意義和價值。其意義在于用實際數(shù)據(jù)起到定性和定量作用。芯片性能直接影響到芯片的售價，更高的性能意味著更高的售價和更強的市場競爭力。

圖2：硅前性能預(yù)測的意義與價值

但芯片從設(shè)計到量產(chǎn)的周期非常長，如果等到量產(chǎn)之后才開始分析性能則為時太晚，容易落入閉門造車的窘境。而硅前性能預(yù)測和驗證可以提前了解芯片性能指標是否達標，進行市場調(diào)研，比對分析芯片與競品的差距，與客戶需求的差距，及時對架構(gòu)的短板分析優(yōu)化。

圖3：硅前性能預(yù)測的作用

預(yù)測和驗證什么???

我們可以從兩個角度來定義GPU的性能。其一是單模塊的純粹性能，例如內(nèi)存帶寬(Memory Bandwidth)或者浮點算力(FLOPs)。另一個是包含了所有模塊協(xié)作的應(yīng)用性能。業(yè)界有標準的測試來評價芯片的綜合性能，而這也是產(chǎn)品間互相競爭的最主要評分工具。

圖4：定義GPU性能的兩個角度

如何預(yù)測？

抽象來看，GPU由多個功能系統(tǒng)組成。主要為核心計算系統(tǒng)(Core)、緩存系統(tǒng)(Cache)和內(nèi)存系統(tǒng)(Memory Subsystem)。架構(gòu)師會在性能預(yù)測階段改變性能模型中不同模塊的參數(shù)來探索各種組合的綜合性能。例如計算系統(tǒng)中的核心數(shù)量、緩存中的緩存大小結(jié)構(gòu)、內(nèi)存的預(yù)取策略、DRAM的時序參數(shù)等。初級的性能模型可以在給定參數(shù)下給出標準測試的結(jié)果，而高級的性能模型可以分析其中的瓶頸，以幫助架構(gòu)師高效地探索模塊參數(shù)變化對綜合性能的影響。另外架構(gòu)師并不能無限堆高各種參數(shù)，而是需要在PPA三角形的限制下找到最合適的芯片架構(gòu)。

如何驗證？

驗證的整個流程分為兩個層面，第一層面是在GPU核心計算模塊（Core）上的本真硬件性能驗證，第二層面是SoC和Multi-GPU平臺性能的驗證。涉及模塊越少則測試仿真時間越短，模塊越多則仿真時間越長，一旦遇到問題需要多個設(shè)計師共同“會診”。

圖5：驗證流程

為了提升驗證的速度和效率，一般會由小及大，盡量在最小的模塊組合中發(fā)現(xiàn)問題，避免單一模塊的小問題被掩蓋直到芯片“大會診”。

首先是對單個子模塊進行獨立的性能指標測試，確保子模塊的性能達到設(shè)計要求。然后是將子模塊組成大模塊進行測試。此時就可以在核心模塊上進行部分應(yīng)用層面的測試，比如部分的Benchmark，以了解在沒有后續(xù)Cache和Memory Subsystem環(huán)境下核心模塊的絕對性能上限如何。我們會將所有測試分為兩類：計算密集(Compute-Bound)和訪存密集(Memory-Bound)。計算密集即其對核心計算模塊壓力很高，其性能上限取決于核心性能。這類測試就可以在核心模塊的測試中完成。而訪存密集的測試則會放在緩存及內(nèi)存系統(tǒng)中進行。

圖6：驗證步驟和測試類別

在驗證中我們會使用仿真波形、性能計數(shù)器等方式來確認設(shè)計是否符合要求。而RTL仿真所產(chǎn)生的性能計數(shù)器也會和性能模型中的數(shù)據(jù)進行交叉對比。一方面確認設(shè)計達標，另一方面校準性能模型，提升性能模型的可信度，這樣當性能模型被用在下一代產(chǎn)品的預(yù)測時就能提供更加精準的預(yù)測結(jié)果。

圖7：確認驗證結(jié)果的方式

誰會參加到GPU性能硅前預(yù)測的任務(wù)中呢？

包括GPU架構(gòu)和設(shè)計驗證模型組都會參加到流程里。模型組(Model team)在其中會起到主導(dǎo)作用，主要負責(zé)提供并且校準各個子模塊的模型，包括指令流水線(Instruction Pipeline)、高速緩存(Cache Hierarchy)、總線接口(Bus Interface)和簡單的I/O內(nèi)存子系統(tǒng)。在實際應(yīng)用測試中發(fā)現(xiàn)性能不達標的情況下也會先行分析瓶頸所在，再與相關(guān)模塊的設(shè)計師架構(gòu)師具體分析并改進現(xiàn)有設(shè)計。