經(jīng)歷了幾年的高速發(fā)展之后，人工智能（簡(jiǎn)稱(chēng) AI）不再是新鮮的名詞，它已經(jīng)作為一個(gè)重要的生產(chǎn)工具，被引入到我們工作和生活的多個(gè)領(lǐng)域。但在 AI 爆發(fā)的背后，隨之而來(lái)的是對(duì) AI 算力需求的暴增。

據(jù) OpenAI 的一份報(bào)告顯示，從 2012 年到 2019 年，人工智能訓(xùn)練集增長(zhǎng)了 30 萬(wàn)倍，每 3.43 個(gè)月翻一番，但如果是以摩爾定律的速度，只會(huì)有 12 倍的增長(zhǎng)。為了滿(mǎn)足 AI 算力的需求，從業(yè)人員通過(guò)設(shè)計(jì)專(zhuān)用的 AI 芯片、重配置硬件和算法創(chuàng)新等多方面入手來(lái)達(dá)成目標(biāo)。

AI 算力需求增長(zhǎng)

然而在此過(guò)程中，我們除了看到 AI 對(duì)算力的要求以外，內(nèi)存帶寬也是限制 AI 芯片發(fā)展的另一個(gè)關(guān)鍵要素。這就需要從傳統(tǒng)的馮諾依曼架構(gòu)談起。作為當(dāng)前芯片的主流架構(gòu)，馮諾依曼架構(gòu)的一大特征就是計(jì)算和內(nèi)存分離的。那就意味著每進(jìn)行一次計(jì)算，計(jì)算單元都要從內(nèi)存中讀取數(shù)據(jù)然后計(jì)算，再把計(jì)算結(jié)構(gòu)存回到內(nèi)存當(dāng)中。

經(jīng)典的馮諾依曼架構(gòu)

在過(guò)往，這個(gè)架構(gòu)的短板并不是很明顯，因?yàn)?a target="_blank">處理器和內(nèi)存的速度都都非常接近。但眾所周知的是，在摩爾定律指導(dǎo)下的處理器在過(guò)去幾十年里發(fā)生了翻天覆地的變化，但常用的 DRAM 方案與之相比，提升幅度不值一提。

再者，在 AI 時(shí)代，數(shù)據(jù)傳輸量越來(lái)越大。先進(jìn)的駕駛員輔助系統(tǒng)（ADAS）為例。第 3 級(jí)及更高級(jí)別系統(tǒng)的復(fù)雜數(shù)據(jù)處理需要超過(guò) 200 GB/s 的內(nèi)存帶寬。這些高帶寬是復(fù)雜的 AI/ML 算法的基本需求，在道路上自駕過(guò)程中這些算法需要快速執(zhí)行大量計(jì)算并安全地執(zhí)行實(shí)時(shí)決策。在第 5 級(jí)，即完全自主駕駛，車(chē)輛能夠獨(dú)立地對(duì)交通標(biāo)志和信號(hào)的動(dòng)態(tài)環(huán)境作出反應(yīng)，以及準(zhǔn)確地預(yù)測(cè)汽車(chē)、卡車(chē)、自行車(chē)和行人的移動(dòng)，將需要巨大的內(nèi)存帶寬。

因此，AI 芯片尋找新的內(nèi)存方案迫在眉睫，其中 HBM 和 GDDR SDRAM（簡(jiǎn)稱(chēng) GDDR）就成為了行業(yè)的選擇。

為什么是 HBM 和 GDDR ？

HBM 就是 High Bandwidth Memory 的縮寫(xiě)，也就是高帶寬內(nèi)存，這是一項(xiàng)在 2013 年 10 月被 JEDEC 采納為業(yè)界標(biāo)準(zhǔn)的內(nèi)存技術(shù)。按照 AMD 的介紹，這種新型的 CPU/GPU 內(nèi)存芯片（即 “RAM”），就像摩天大廈中的樓層一樣可以垂直堆疊。基于這種設(shè)計(jì)，信息交換的時(shí)間將會(huì)縮短。這些堆疊的芯片通過(guò)稱(chēng)為“中介層 (Interposer)”的超快速互聯(lián)方式連接至 CPU 或 GPU。將 HBM 的堆棧插入到中介層中，放置于 CPU 或 GPU 旁邊，然后將組裝后的模塊連接至電路板。

盡管這些 HBM 堆棧沒(méi)有以物理方式與 CPU 或 GPU 集成，但通過(guò)中介層緊湊而快速地連接后，HBM 具備的特性幾乎和芯片集成的 RAM 一樣。更重要的是，這些獨(dú)特的設(shè)計(jì)能給

開(kāi)發(fā)者帶來(lái)功耗、性能和尺寸等多個(gè)方面的優(yōu)勢(shì)。

從第一代 HBM 與 2013 年面世后，JEDEC 又分別在 2016 年和 2018 把 HBM2 和 HBM2E 納為行業(yè)標(biāo)準(zhǔn)。據(jù)了解，在 HBM2E 規(guī)范下，當(dāng)傳輸速率上升到每管腳 3.6Gbps 時(shí)，HBM2E 可以實(shí)現(xiàn)每堆棧 461GB/s 的內(nèi)存帶寬。此外，HBM2E 支持 12 個(gè) DRAM 的堆棧，內(nèi)存容量高達(dá)每堆棧 24 GB。

具體而言，就是說(shuō)每一個(gè)運(yùn)行速度高達(dá) 3.6Gbps 的 HBM2E 堆棧通過(guò) 1024 個(gè)數(shù)據(jù)“線”的接口連接到它的相關(guān)處理器。通過(guò)命令和地址，線的數(shù)量增加到大約 1700 條。這遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn) PCB 所能支持的范圍。因此，硅中介層被采用作為連接內(nèi)存堆棧和處理器的中介。與 SoC 一樣，精細(xì)數(shù)據(jù)走線可以在硅中介層中以蝕刻間隔的方式實(shí)現(xiàn)，以獲得 HBM 接口所需數(shù)量的數(shù)據(jù)線數(shù)。

得益于其巨大內(nèi)存帶寬的能力，使得連接到一個(gè)處理器的四塊 HBM2E 內(nèi)存堆棧將提供超過(guò) 1.8 TB/s 的帶寬。通過(guò) 3D 堆疊內(nèi)存,可以以極小的空間實(shí)現(xiàn)高帶寬和高容量需求。進(jìn)一步，通過(guò)保持相對(duì)較低的數(shù)據(jù)傳輸速率，并使內(nèi)存靠近處理器，總體系統(tǒng)功率得以維持在較低水位。

根據(jù) Rambus 的介紹，HBM2E 的性能非常出色，所增加的采用和制造成本可以透過(guò)節(jié)省的電路板空間和電力相互的緩解 。在物理空間日益受限的數(shù)據(jù)中心環(huán)境中，HBM2E 緊湊的體系結(jié)構(gòu)提供了切實(shí)的好處。它的低功率意味著它的熱負(fù)荷較低，在這種環(huán)境中，冷卻成本通常是幾個(gè)最大的運(yùn)營(yíng)成本之一。

正因?yàn)槿绱?，HBM2E 成為了 AI 芯片的一個(gè)優(yōu)先選擇，這也是英偉達(dá)在 Tesla A100 和谷歌在二代 TPU 上選擇這個(gè)內(nèi)存方案的原因。但如前面所說(shuō)，因?yàn)?HBM 獨(dú)特的設(shè)計(jì)，其復(fù)雜性、成本都高于其他方案，這時(shí)候，GDDR 就發(fā)揮了重大的作用。

據(jù)了解，圖形 DDR SDRAM（GDDR SDRAM）最初是 20 多年前為游戲和顯卡市場(chǎng)設(shè)計(jì)的。在這段時(shí)間內(nèi)，GDDR 經(jīng)歷了幾次重大變革，最新一代 GDDR6 的數(shù)據(jù)傳輸速率為 16Gbps。GDDR6 提供了令人印象深刻的帶寬、容量、延遲和功率。它將工作電壓從 1.5V 降低到 1.35V 以獲得更高的功率效率，并使 GDDR5 內(nèi)存的數(shù)據(jù)傳輸速率（16 比 8 Gbps）和容量（16 比 8 GB）翻了一番。Rambus 已經(jīng)演示了一個(gè)運(yùn)行速度為 18 Gbps 的 GDDR6 接口，顯示這種內(nèi)存架構(gòu)還有額外的增長(zhǎng)空間。

與 HBM2E 不同，GDDR6 DRAM 采用與生產(chǎn)標(biāo)準(zhǔn) DDR 式 DRAM 的大批量制造和組裝一樣的技術(shù)。更具體地說(shuō)，GDDR6 采用傳統(tǒng)的方法，通過(guò)標(biāo)準(zhǔn) PCB 將封裝和測(cè)試的 DRAMs 與 SoC 連接在一起。利用現(xiàn)有的基礎(chǔ)架構(gòu)和流程為系統(tǒng)設(shè)計(jì)者提供了熟悉度，從而降低了成本和實(shí)現(xiàn)的復(fù)雜性。

與 HBM2E 寬而慢的內(nèi)存接口不同，GDDR6 接口窄而快。兩個(gè) 16 位寬通道（32 條數(shù)據(jù)線）將 GDDR6 PHY 連接到相關(guān)的 SDRAM。GDDR6 接口以每針 16 Gbps 的速度運(yùn)行，可以提供 64 GB/s 的帶寬?；氐轿覀冎暗?L3 汽車(chē)示例，GDDR6 內(nèi)存系統(tǒng)以連接四個(gè) DRAM 設(shè)備為例,帶寬可以達(dá)到 200 GB/s。

采用 GDDR6 的主要設(shè)計(jì)挑戰(zhàn)也來(lái)自于它最強(qiáng)大的特性之一：速度。在較低的電壓條件，16 Gbps 的信號(hào)速度下，保持信號(hào)完整性需要大量的專(zhuān)業(yè)經(jīng)驗(yàn)知識(shí)。設(shè)計(jì)人員面臨更緊的時(shí)序和電壓裕度量損失，這些損失來(lái)源與影響都在迅速增加。系統(tǒng)的接口行為、封裝和電路板需要相互影響,需要采用協(xié)同設(shè)計(jì)方法來(lái)保證系統(tǒng)的信號(hào)完整性。

總的來(lái)說(shuō)，GDDR6 內(nèi)存的優(yōu)異性能特性建立久經(jīng)考驗(yàn)的基礎(chǔ)制造過(guò)程之上，是人工智能推理的理想內(nèi)存解決方案。其出色的性?xún)r(jià)比使其適合在廣泛的邊緣網(wǎng)絡(luò)和物聯(lián)網(wǎng)終端設(shè)備上大量采用。

Rambus 將扮演重要角色

從上文的介紹中，我們看到了 HBM2E 和 GDDR 6 在 AI 中的重要作用，而要真正將其落實(shí)到 AI 芯片中，相應(yīng)的 IP 供應(yīng)商將是很關(guān)鍵的一環(huán)，而 Rambus 將扮演這個(gè)重要角色。

據(jù) Rambus 大中華區(qū)總經(jīng)理 Raymond Su 介紹，Rambus 成立于上個(gè)世紀(jì) 90 年代，是一家領(lǐng)先的 Silicon IP 和芯片提供商，公司主要致力于讓數(shù)據(jù)傳輸?shù)酶?、更安全。而從產(chǎn)品上看，Rambus 的產(chǎn)品主要聚焦于三大塊：分別是基礎(chǔ)架構(gòu)許可、Silicon IP 授權(quán)，還有 buffer chip 芯片業(yè)務(wù)。

“得益于這些深厚的積累，我們能提供友商所不具備的差異性服務(wù)”，Raymond Su 補(bǔ)充說(shuō)。他指出：

首先，在內(nèi)存 IP 層面，Rambus 提供一站式的采購(gòu)和“turn key”服務(wù)。而公司在去年完成的對(duì)全球知名的 IP 控制器公司 Northwest Logic 和對(duì) Verimatrix 安全 IP 業(yè)務(wù)部，可以讓 Rambus 能夠提供更好的一站式的服務(wù)。

“通過(guò)這樣的服務(wù)，Rambus IP 可以很好地幫助客戶(hù)盡早地把產(chǎn)品推向市場(chǎng)”，Raymond Su 表示。

其次，作為全球領(lǐng)先的 HBM IP 供應(yīng)商，Rambus 在全球已經(jīng)有 50 多個(gè)成功項(xiàng)目案例，積累了大量的經(jīng)驗(yàn)；而在 DDR5 Buffer Chip（緩沖芯片）方面，Rambus 也是全球首發(fā)。這讓他們?cè)?DDR5 時(shí)代有信心改變整個(gè)市場(chǎng)。而在 AI 芯片迫切需要的 HBM2E 和 GDDR 6 IP 方面，Rambus 也都做好了準(zhǔn)備。

從 Rambus IP 核產(chǎn)品營(yíng)銷(xiāo)高級(jí)總監(jiān) Frank Ferro 的介紹我們得知，他們將 HBM2E 的性能提升到了 4Gbps。在他看來(lái)，這個(gè)速度是一個(gè)全新的行業(yè)標(biāo)桿，而此次 Rambus 發(fā)布我們?nèi)碌?HBM2E 產(chǎn)品也正是實(shí)現(xiàn)了這一行業(yè)最高標(biāo)準(zhǔn)。

根據(jù) Rambus 發(fā)布的白皮書(shū)介紹，他們 HBM2E 接口完全符合 JEDEC JESD235B 標(biāo)準(zhǔn)。支持每個(gè)數(shù)據(jù)引腳高達(dá) 3.6 Gbps 的數(shù)據(jù)傳輸速率。該接口具有 8 個(gè)獨(dú)立的通道，每個(gè)通道包含 128 位，總數(shù)據(jù)寬度為 1024 位。由此每個(gè)堆棧支持的帶寬是 461GB/s，每個(gè)堆棧由 2、4、8 或 12 個(gè) DRAMs 組成。

作為一個(gè)為 2.5D 系統(tǒng)設(shè)計(jì)的 IP，它有一個(gè)用于在 3D-DRAM 堆棧和 SoC 上的 PHY 之間的中介層由提供信號(hào)繞線。這種信號(hào)密度和堆積尺寸的組合需要特殊的設(shè)計(jì)考慮。為了便于實(shí)施和提高了設(shè)計(jì)的靈活性，Rambus 對(duì)整個(gè) 2.5D 系統(tǒng)進(jìn)行完整的信號(hào)和功率完整性分析，以確保所有信號(hào)、功率和散熱要求都得到滿(mǎn)足。而在于其他競(jìng)爭(zhēng)對(duì)手相比，Rambus 的 HBM IP 則有著大多數(shù)廠商布局的幾點(diǎn)核心優(yōu)勢(shì)：

第一，Rambus 提供的是完全集成而且經(jīng)過(guò)驗(yàn)證的 PHY 以及內(nèi)存控制器 IP 解決方案，在物理層面實(shí)現(xiàn)完整的集成互聯(lián)。除了完整的內(nèi)存子系統(tǒng)之外，他們的 PHY 也經(jīng)過(guò)了硬核化處理，同時(shí)也完成了 timing closed 也就是時(shí)序收斂的工作。

“我們給客戶(hù)提供的并不僅僅是自己的 IP 授權(quán)、IP 產(chǎn)品，我們也會(huì)向客戶(hù)提供系統(tǒng)級(jí)的全面的集成支持，以及相關(guān)的工具套件，以及我們的技術(shù)服務(wù)。同時(shí)，我們也可以幫助客戶(hù)更加進(jìn)一步地減少設(shè)計(jì)實(shí)現(xiàn)的難度?！?Frank Ferro 補(bǔ)充說(shuō)。他進(jìn)一步指出，在發(fā)布了這個(gè) IP 之后，Rambus 將會(huì)為人工智能以及機(jī)器學(xué)習(xí)的應(yīng)用客戶(hù)提供更加完整的解決方案，幫助他們進(jìn)一步地提高帶寬，滿(mǎn)足他們?cè)趲捝系男枨蟆?/p>

第二，Rambus 擁有非常強(qiáng)大的 HBM 生產(chǎn)經(jīng)驗(yàn)，在這方面，公司已經(jīng)擁有了全球超過(guò) 50 家成功的客戶(hù)案例，這在全球是名列前茅的。更重要的一點(diǎn)，Rambus 所有合作客戶(hù)的芯片從設(shè)計(jì)到原型再到投產(chǎn)，并不需要任何的設(shè)計(jì)返工，基本上所有的芯片都會(huì)實(shí)現(xiàn)一次的成功。這足以體現(xiàn)他們的實(shí)力。

第三，Rambus 為客戶(hù)提供非常完整的參考設(shè)計(jì)框架，其中最重要的一點(diǎn)就是如何更好地對(duì)中介層進(jìn)行完整的設(shè)計(jì)和表征化的處理?！耙?yàn)閷?duì)于中介層來(lái)，講它是 PHY 層和 DRAM 層之間溝通的重要環(huán)節(jié)，在這個(gè)過(guò)程中，因?yàn)樗俣确浅？欤哉f(shuō)如何保證信號(hào)完整性也是必須要去考慮的。” Frank Ferro 表示。

他進(jìn)一步指出，Rambus 與客戶(hù)非常緊密地進(jìn)行合作，并為他們提供非常完整的參考設(shè)計(jì)框架，然后幫助他們更好地去設(shè)計(jì)自己的中介層以及產(chǎn)品的封裝。除此之外，Rambus 也幫助客戶(hù)做仿真分析，讓他們對(duì)自己每個(gè)信號(hào)的通道進(jìn)行完整的分析，來(lái)實(shí)現(xiàn)整個(gè)產(chǎn)品的最高性能。

第四，這也是非常重要的一點(diǎn)，那就是 Rambus 有一套非常重要的工具——Lab Station。借助這個(gè)工具，Rambus 會(huì)與客戶(hù)進(jìn)行合作，讓他們將其 HBM2E 解決方案直接插入到他們的終端系統(tǒng)當(dāng)中，來(lái)構(gòu)建一個(gè)非常獨(dú)立的內(nèi)存子系統(tǒng)。

能在 HBM2E IP 獲得這樣的成就，一方面，Rambus 的研發(fā)投入功不可沒(méi)；另一方面，他們與 SK 海力士、AIChip 和臺(tái)積電多方人員的通力合作，也是他們能提供快速服務(wù)的原因之一。例如在 SK 海力士方面，它為 Rambus 提供的 HBM2E 內(nèi)存達(dá)到了 3.6G 的數(shù)據(jù)傳輸速率，而在和合作過(guò)程中，兩者又將 HBM2E 的速率進(jìn)一步地推進(jìn)到了 4.0 Gbps；AIchip 則為 Rambus 提供了 ASIC 的相關(guān)解決方案以及產(chǎn)品，幫助其設(shè)計(jì)了相關(guān)中介層以及封裝；此外，臺(tái)積電提供了一個(gè)交鑰匙的 2.5D Cowos 封裝以及解決方案，來(lái)更好地為 Rambus 打造一個(gè)晶圓上的基本架構(gòu)。

“我們的解決方案適用于人工智能以及機(jī)器學(xué)習(xí)的訓(xùn)練，同時(shí)也非常適用于高性能計(jì)算系統(tǒng)和 5G 網(wǎng)絡(luò)的基礎(chǔ)設(shè)施建設(shè)”，F(xiàn)rank Ferro 最后說(shuō)。

除了面向 AI 訓(xùn)練的 HMB2E IP，Rambus 還推出了面向 AI 推理的 GDDR 6 產(chǎn)品。

據(jù) Rambus 的白皮書(shū)介紹，公司的 GDDR6 接口專(zhuān)為性能和功率效率而設(shè)計(jì)，支持 AI/ML 和 ADAS 推理高帶寬與低延遲要求。它由一個(gè)經(jīng)共同驗(yàn)證的 PHY 和數(shù)字控制器組成，提供一個(gè)完整的 GDDR6 內(nèi)存子系統(tǒng)。Rambus GDDR6 接口完全符合 JEDEC GDDR6 JESD250 標(biāo)準(zhǔn)，每個(gè)引腳支持高達(dá) 16 Gbps。GDDR6 接口支持 2 個(gè)通道，每個(gè)通道有 16 位，

總數(shù)據(jù)寬度為 32 位。Rambus GDDR6 接口每針 16 Gbps，提供帶寬為 64 GB/s。

通過(guò)直接與客戶(hù)合作，Rambus 能提供完整的系統(tǒng)信號(hào)和電源完整性（SI/PI）分析，創(chuàng)建優(yōu)化的芯片布線版圖?？蛻?hù)收到一個(gè)硬核解決方案與全套測(cè)試軟件可以快速啟動(dòng)，定性和調(diào)試。

在“內(nèi)存墻”的限制下，為了滿(mǎn)足 AI 應(yīng)用的數(shù)據(jù)搬運(yùn)需求，產(chǎn)業(yè)界正在探索不同的方法來(lái)解決問(wèn)題。例如英國(guó) AI 芯片初創(chuàng)企業(yè) Graphcore 就希望通過(guò)分布式內(nèi)存設(shè)計(jì)的方法解決這個(gè)問(wèn)題。

而 Rambus 的這兩個(gè)方案出現(xiàn)那就給開(kāi)發(fā)者們提供了在傳統(tǒng)架構(gòu)設(shè)計(jì)上獲得性能大提升的可能。

審核編輯 黃昊宇