近日，來(lái)自天數(shù)智芯公司Power團(tuán)隊(duì)的三位工程師闕詩(shī)璇、孫凌、甘振華合作發(fā)表的技術(shù)論文《左移：大規(guī)模人工智能(AI)處理器的功耗分析方法》順利入選第58屆(國(guó)際設(shè)計(jì)自動(dòng)化會(huì)議，Design Automation Conference)，并做poster presentation。

文章主要內(nèi)容如下：

AI芯片最重要的設(shè)計(jì)指標(biāo)之一就是單位功耗每瓦算力(TOPS/W)，因此低功耗設(shè)計(jì)對(duì)于AI芯片的設(shè)計(jì)實(shí)現(xiàn)，在市場(chǎng)中具備競(jìng)爭(zhēng)力都十分重要。然而原有的功耗分析方法存在一定的不足，對(duì)新的需求也無(wú)法滿足：

1.原有方法只是對(duì)功能驗(yàn)證的場(chǎng)景，而缺乏真實(shí)的應(yīng)用場(chǎng)景，跟真實(shí)的軟件應(yīng)用有一定的差距;

2.傳統(tǒng)的功耗分析需要綜合后的網(wǎng)表和門級(jí)的向量，這在項(xiàng)目早期很難獲取，太晚介入會(huì)讓功耗優(yōu)化受限;

3.對(duì)于仿真時(shí)間長(zhǎng)的向量，尤其是要按時(shí)間分析功耗時(shí)，所需的運(yùn)行時(shí)間和資源都是巨大的;

4.自適應(yīng)電壓頻率縮放等需要有實(shí)時(shí)的功耗才能進(jìn)行軟硬件控制，這是原有方法無(wú)法實(shí)現(xiàn)的;

5.為了搶占市場(chǎng)，需要更快的迭代設(shè)計(jì)，因此設(shè)計(jì)人員希望每周甚至每天都可以對(duì)低功耗功能進(jìn)行驗(yàn)證，原有方法很難趕上驗(yàn)證迭代的速度;

為了解決這些挑戰(zhàn)跟需求，天數(shù)智芯提出了一種創(chuàng)新的功耗分析方案：利用一種功耗分析工具對(duì)所給的仿真向量進(jìn)行高性能的按時(shí)間分析功耗的分布，從而得到平均功耗和峰值功耗等參數(shù)。這種方法在RTL階段就進(jìn)行分析，有利于對(duì)AI處理器進(jìn)行優(yōu)化功耗的迭代，最終實(shí)現(xiàn)項(xiàng)目功耗目標(biāo)。與之前的方法相比較，它在某些實(shí)驗(yàn)中，可以達(dá)到100甚至1000倍的加速。

接下來(lái)將展開(kāi)描述該方案在實(shí)際工作中的一個(gè)應(yīng)用：通過(guò)機(jī)器學(xué)習(xí)的訓(xùn)練得到實(shí)時(shí)功耗預(yù)測(cè)模型。

現(xiàn)在所用的新的功耗分析方法和原有的按時(shí)間分析網(wǎng)表的功耗分析方法，具有很好的相關(guān)一致性。所以利用它超高倍加速的分析能力，可以用于各種應(yīng)用場(chǎng)景激勵(lì)產(chǎn)生訓(xùn)練模型所需要的充足的數(shù)據(jù)集。當(dāng)訓(xùn)練數(shù)據(jù)集達(dá)到百萬(wàn)甚至是上億級(jí)別，通過(guò)機(jī)器學(xué)習(xí)算法得到的模型就比較準(zhǔn)確。這是依賴新的分析方法才能得到的，傳統(tǒng)的分析方法無(wú)法產(chǎn)生這么大的數(shù)據(jù)量。

我們用機(jī)器學(xué)習(xí)的算法對(duì)各個(gè)模塊進(jìn)行參數(shù)訓(xùn)練，從而得到最佳的預(yù)測(cè)模型，這樣就可以用于預(yù)測(cè)實(shí)時(shí)功耗，從而實(shí)現(xiàn)軟硬件的控制。

經(jīng)過(guò)幾天的訓(xùn)練，我們最終得到的預(yù)測(cè)模型與真實(shí)的功耗之間的誤差只有不到5%。

總的來(lái)看，創(chuàng)新的功耗分析方法與傳統(tǒng)流程相比，能在項(xiàng)目早期介入，所需要的運(yùn)行時(shí)間跟內(nèi)存消耗大大減少，可以在設(shè)計(jì)階段進(jìn)行快速的迭代。它不僅僅可以對(duì)原有的功能驗(yàn)證激勵(lì)進(jìn)行分析，對(duì)于原型驗(yàn)證的真實(shí)的應(yīng)用場(chǎng)景向量也可以進(jìn)行分析，從而得到更真實(shí)的功耗相關(guān)指標(biāo)，且與項(xiàng)目最終簽核時(shí)的數(shù)據(jù)具有一致性。利用它的快速和節(jié)省資源特性，能夠?yàn)閷?shí)時(shí)功耗的預(yù)測(cè)模型提供大量充足的數(shù)據(jù)樣本，最終得到誤差5%以內(nèi)的預(yù)測(cè)模型。

關(guān)于DAC

DAC(國(guó)際設(shè)計(jì)自動(dòng)化會(huì)議，Design Automation Conference)與ICCAD(國(guó)際計(jì)算機(jī)輔助設(shè)計(jì)會(huì)議，International Conference on Computer Aided Design)、DATE(歐洲設(shè)計(jì)自動(dòng)化與測(cè)試學(xué)術(shù)會(huì)議，Design, Automation and Test in Europe)、ASP-DAC(亞太地區(qū)設(shè)計(jì)自動(dòng)化會(huì)議，Asia and South Pacific Design Automation Conference)一起被公認(rèn)為電子設(shè)計(jì)自動(dòng)化領(lǐng)域水平最高的四大國(guó)際會(huì)議。

關(guān)于天數(shù)智芯

上海天數(shù)智芯半導(dǎo)體有限公司(簡(jiǎn)稱“天數(shù)智芯”)于2018年正式啟動(dòng)7納米通用并行(GPGPU)云端計(jì)算芯片設(shè)計(jì)，是中國(guó)第一家通用并行(GPGPU)云端計(jì)算芯片及高性能算力系統(tǒng)提供商。公司以“成為智能社會(huì)的賦能者”為使命，專注于云端服務(wù)器級(jí)的通用并行高性能云端計(jì)算芯片，瞄準(zhǔn)以云計(jì)算、人工智能、數(shù)字化轉(zhuǎn)型為代表的數(shù)據(jù)驅(qū)動(dòng)技術(shù)市場(chǎng)，解決核心算力瓶頸問(wèn)題。重點(diǎn)打造自主可控、國(guó)際一流的通用、標(biāo)準(zhǔn)、高性能云端計(jì)算GPGPU芯片，從芯片端解決算力問(wèn)題。

原文標(biāo)題：天數(shù)智芯技術(shù)論文入選第58屆DAC

文章出處：【微信公眾號(hào)：天數(shù)智芯】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅