首先，我們來了解一下什么是近存處理器。下圖展示了幾種主要的近存和存內(nèi)處理芯片設(shè)計方案的基本概念。

• Traditional：傳統(tǒng)的處理器系統(tǒng)，運算和存儲是2個不同的die，通過片外走線連接。
• 2D CIM：存儲和運算在同一個die中，混合分布。
• 2D PNM：存儲和運算在同一個die中，分成兩個獨立的部分。
• 2.5D PNM：存儲和運算在2個不同的die上，通過interposer連接。
• 3D HB-PNM：存儲和運算2個die臉對臉通過銅-銅互連（本論文的方案）。
• 3D TSV-PNM：存儲和運算stack的方式通過TSV連接。

Figure1 近存存內(nèi)處理器結(jié)構(gòu)介紹[1]

推薦系統(tǒng)工作流程

Figure2 推薦系統(tǒng)任務(wù)流程[1]

推薦系統(tǒng)的工作流程主要包含特征生成和召回排序兩個階段。其中，特征生成主要在GPU上運行，具體的任務(wù)包括分類，目標(biāo)檢測，特征提取，通常是運算密集型任務(wù)。而召回排序包括粗粒度召回和細(xì)粒度排序兩個階段，占據(jù)了整個推薦任務(wù)89.7%的延遲和82.97%的能量消耗，因此，該階段需要大容量，高帶寬，低能耗的存儲系統(tǒng)。

Figure3 召回和精排任務(wù)流程[1]?在該芯片設(shè)計面對的推薦任務(wù)中，粗粒度召回包含L2 distance和Top-k兩個階段，輸入為1個1bitx512維度的特征，首先進(jìn)入ME（matching engine）單元進(jìn)行L2距離計算，然后從40k的項目中選出排名靠前的1000個子項，得到一個8bits x 1024的特征，這些特征和之前的特征連接合并，進(jìn)入細(xì)力度排序階段。細(xì)力度排序包括相似度預(yù)測和top-k兩個階段，相似度預(yù)測由一個三層的MLP進(jìn)行操作（2048-256-64-1），主要利用NE（neural engine）進(jìn)行，最后MLP的輸出會再次返回ME進(jìn)行top-k操作, 從之前的1000個子項中選擇100個子項，然后返回查詢結(jié)果。

近存處理器架構(gòu)

整體架構(gòu)

Figure4 3D stack芯片整體結(jié)構(gòu)[1]?整體邏輯die wafer和DRAM die wafer通過臉對臉對貼，銅-銅互連，邏輯和DRAM die 有同樣的大小，都是25.24 x 23.86 mm2，DRAM 由6x6個同等大小的block組成，每個block是4x4 mm2，有1Gb的容量大小。這1Gbit的DRAM 有8個bank，支持ECC, 每個bank有128 bits的IO。每個邏輯block都可以訪問自己對應(yīng)的DRAM block，此外，也可以通過片上總線訪問其它的DRAM block。每4個DRAM block的大小是64mm2，DRAM die工作在150Mhz，1.1V, 功耗為300mW/1Gb，36個DRAM總的帶寬為1.38TB/s。

Figure5 近存處理器的整體架構(gòu)[1] ? ??

每4個DRAM block對應(yīng)一套處理引擎，即ME（

match?

engine）和NE（neural engine）。其中match engine中主要有top-k和matching 2個DSA處理模塊，而neuralengine中由activation函數(shù)處理，GEMM運算和transpose操作等引擎構(gòu)成。NE的大小為5.9mm，ME的大小為7.02mm，邏輯die工作在300Mhz 1.2V，功耗為977mW。ME和NE分別連接了2個dual-mode interface，每個dual-mode interface和8個memory controller連接。這8個MC可以同時給ME提供數(shù)據(jù)或者只有其中一個MC給ME提供數(shù)據(jù)。

Matching engine

Figure6 matching engine微架構(gòu)[1]

如前面介紹所說，matching 引擎負(fù)責(zé)召回階段的top-k和L2 距離計算以及精排階段的top-k，因此，該模塊最主要的功能模塊就是distance calculator和max-heap top-k engine。

地址生成器

Figure7 地址生成邏輯[1]

地址生成器的主要功能是生成DRAM的訪存請求，其地址生成可以通過寄存器配置，包括不同的brust length和stride，數(shù)據(jù)cluster、基地址等。

距離計算邏輯

Figure8 距離計算[1]?Bit-wise的漢明距離計算比較簡單，為查詢值和DRAM中的數(shù)據(jù)值進(jìn)行按bit異或操作，異或后得到的值里面1的個數(shù)即漢明距離。

Top-K引擎

Figure9 max-heap硬件模塊[1]

Top-k引擎又稱排序引擎，基本邏輯結(jié)構(gòu)為一個2叉樹的max-heap硬件模塊，其中由1000個節(jié)點組成，對應(yīng)召回階段最短的1000距離值。堆棧模塊每2個周期從頂部即root節(jié)點輸入一個漢明距離數(shù)據(jù)。當(dāng)奇數(shù)cycle時，對奇數(shù)層的節(jié)點進(jìn)行操作，偶數(shù)cycle時，對偶數(shù)層的節(jié)點進(jìn)行操作。每個node由node 索引和距離值構(gòu)成，通過不斷的比較和交換當(dāng)前節(jié)點和子節(jié)點的值，得到最終的top-1000的結(jié)果。同時，由于Top-K引擎只有處理速度的一半，在輸入端有一個比較邏輯用于初步過濾數(shù)據(jù)，因為棧頂總是當(dāng)前大頂堆中最大的數(shù)據(jù)，當(dāng)最新的計算距離小于當(dāng)前堆頂?shù)闹挡拍芴鎿Q當(dāng)前root節(jié)點進(jìn)入堆區(qū)域。Max-heap堆排序top-k算法規(guī)則如下：

• 當(dāng)reset時，所有node的distance都設(shè)置成max值。
• 當(dāng)父節(jié)點大于所有子節(jié)點的值時，不操作，否則進(jìn)行下面的操作:
  • 當(dāng)前節(jié)點小于左子節(jié)點，則交換當(dāng)前節(jié)點和左子節(jié)點的值。
  • 當(dāng)前節(jié)點大于左子節(jié)點，則交換當(dāng)前節(jié)點和右子節(jié)點的值。

Figure10 max-heap算法舉例說明[1]

不難看出，該算法排序按經(jīng)過若干次迭代操作后，最終拿到了我們想要的從樹底層左邊最小開始的top-1000樹形排列結(jié)果。

Neural engine

Figure11 Neural引擎[1]

Neural engine更像是一個傳統(tǒng)NN processor的方案，包含了VPU（vector process unit）和GEMM（general engine for matrix and multiply）。其中vector引擎包含了一個基于LUT的激活函數(shù)處理模塊，支持硬件GeLU和Exponential函數(shù)運算，另外vector還有一個轉(zhuǎn)置模塊，使用2D register file實現(xiàn)，使用乒乓的方式進(jìn)行16x16的矩陣轉(zhuǎn)置，支持行寫入列寫出。

Figure12 vector process unit[1]

GEMM模塊在傳統(tǒng)NN處理器中用于計算矩陣乘法，這里主要用于MLP的運算流程。運算部分包含了32x32 int8的systolic array和int32的部分積累加器，分別有兩個輸入和一個輸出FIFO用于數(shù)據(jù)流水，使用weight station的策略，通過頂層的GEMM controller控制。運行在300Mhz時，總的算力為600Gops。

Figure13 GEMM[1]

實驗對比

Figure14 性能功耗表現(xiàn)（vs CPU-DRAM）[1]?文章首先和CPU+DRAM組成的系統(tǒng)相比，該近存處理系統(tǒng)有9.7 倍的吞吐率QPS優(yōu)勢，317倍的能效優(yōu)勢QPS/W，660倍的面積優(yōu)勢QPS/mm2。

Figure15 性能功耗表現(xiàn) vs CIM/PNM[1]?同時，文章還和最好的CIM/PNM處理器進(jìn)行了對比，該設(shè)計在單位容量帶寬上，單位帶寬能耗上也保持很大的優(yōu)勢。

總結(jié)

PNM和CIM架構(gòu)可以很大程度上提高內(nèi)存受限的應(yīng)用的性能和功耗表現(xiàn)，本設(shè)計中的3D邏輯-DRAM Hybird bonding chip有以下幾個特點：

• 使用3D Hybrid bonding技術(shù)，為整個系統(tǒng)提供了具有高帶寬和能效的存儲系統(tǒng)。
• 使用了高吞吐率的流處理加速設(shè)計來進(jìn)行粗召回和精排系統(tǒng)優(yōu)化操作。
• 該設(shè)計達(dá)到了2.4GB/s/mm帶寬密度，0.87pJ/bit的能耗指標(biāo)。
• 對于傳統(tǒng)的CPU+DRAM系統(tǒng)，該設(shè)計有300倍的能效提升和10倍的性能提升。

參考文獻(xiàn)

[1] Austin Derrow-Pinion, Jennifer She, David Wong, et al. ETA Predictionwith Graph Neural Networks in Google Maps.?2021

[1] 184QPS/W 64Mb/mm2 3D Logic-to-DRAM Hybrid Bonding with Process-Near-Memory Engine for Recommendation System DiminNiu, Shuangchen Li, Yuhao Wang, Wei Han, Zhe Zhang,Yijin Guan, Tianchan Guan, FeiSun, Fei Xue, Lide Duan, Yuanwei Fang, Hongzhong Zheng, Xiping Jiang, SongWang, Fengguo Zuo, Yubing Wang, Bing Yu, Qiwei Ren, Yuan Xie