大語(yǔ)言模型涉及對(duì)高性能硬件（如 GPU、TPU）、大規(guī)模高質(zhì)量數(shù)據(jù)集的需求以及軟件算法的提高等多方面要求。

1.HBM 技術(shù)：高吞吐高帶寬，AI 帶動(dòng)需求激增

HBM（High Bandwidth Memory）意為高帶寬存儲(chǔ)器，是一種硬件存儲(chǔ)介質(zhì)，是高性能 GPU 的核心組件。HBM 具有高吞吐高帶寬的特性，受到工業(yè)界和學(xué)術(shù)界的關(guān)注。它單顆粒的帶寬可以達(dá)到 256 GB/s，遠(yuǎn)超過(guò) DDR4 和 GDDR6。DDR4 是 CPU 和硬件處理單元的常用外掛存儲(chǔ)設(shè)備，但是它的吞吐能力不足以滿足當(dāng)今計(jì)算需求，特別是在 AI 計(jì)算、區(qū)塊鏈和數(shù)字貨幣挖礦等大數(shù)據(jù)處理訪存需求極高的領(lǐng)域。GDDR6 也比不上 HBM，它單顆粒的帶寬只有 64 GB/s，是HBM 的 1/4。而 DDR4 3200 需要至少 8 顆粒才能提供 25.6 GB/s 的帶寬，是 HBM 的 1/10。

HBM 使用多根數(shù)據(jù)線實(shí)現(xiàn)高帶寬，完美解決傳統(tǒng)存儲(chǔ)效率低的問(wèn)題。HBM 的核心原理和普通的 DDR、GDDR 完全一樣，但是 HBM 使用多根數(shù)據(jù)線實(shí)現(xiàn)了高帶寬。HBM/HBM2 使用 1024 根數(shù)據(jù)線傳輸數(shù)據(jù)，作為對(duì)比，GDDR 是 32 根，DDR 是 64 根。HBM 需要使用額外的硅聯(lián)通層，通過(guò)晶片堆疊技術(shù)與處理器連接。這么多的連接線保持高傳輸頻率會(huì)帶來(lái)高功耗。因此 HBM 的數(shù)據(jù)傳輸頻率相對(duì)很低，HBM2 也只有 2 Gbps，作為對(duì)比，GDDR6 是 16 Gbps，DDR4 3200 是3.2 Gbps。這些特點(diǎn)導(dǎo)致了 HBM 技術(shù)高成本，容量不可擴(kuò)，高延遲等缺點(diǎn)。

HBM 可以被廣泛的應(yīng)用到汽車高帶寬存儲(chǔ)器，GPU 顯存芯片，部分 CPU 的內(nèi)存芯片，邊緣 AI加速卡，Chiplets 等硬件中。在高端 GPU 芯片產(chǎn)品中，比如 NVDIA 面向數(shù)據(jù)中心的 A100 等加速卡中就使用了 HBM；部分 CPU 的內(nèi)存芯片，如目前富岳中的 A64FX 等 HPC 芯片中也有應(yīng)用到。車輛在快速移動(dòng)時(shí)，攝像頭、傳感器會(huì)捕獲大量的數(shù)據(jù)，為了更快速的處理數(shù)據(jù)，HBM是最合適的選擇。Chiplets 在設(shè)計(jì)過(guò)程中沒(méi)有降低對(duì)內(nèi)存的需求，隨著異構(gòu)計(jì)算（尤其是小芯片）的發(fā)展，芯片會(huì)加速對(duì)高帶寬內(nèi)存的需求，無(wú)論是 HBM、GDDR6 還是 LPDDR6。

HBM 緩解帶寬瓶頸，是 AI 時(shí)代不可或缺的關(guān)鍵技術(shù)。AI 處理器架構(gòu)的探討從學(xué)術(shù)界開(kāi)始，當(dāng)時(shí)的模型簡(jiǎn)單，算力低，后來(lái)模型加深，算力需求增加，帶寬瓶頸出現(xiàn)，也就是 IO 問(wèn)題。這個(gè)問(wèn)題可以通過(guò)增大片內(nèi)緩存、優(yōu)化調(diào)度模型等方法解決。但是隨著 AI 大模型和云端 AI處理的發(fā)展，計(jì)算單元?jiǎng)≡?，IO 問(wèn)題更嚴(yán)重了。要解決這個(gè)問(wèn)題需要付出很高的代價(jià)（比如增加 DDR 接口通道數(shù)量、片內(nèi)緩存容量、多芯片互聯(lián)），這便是 HBM 出現(xiàn)的意義。HBM 用晶堆疊技術(shù)和硅聯(lián)通層把處理器和存儲(chǔ)器連接起來(lái)，把 AI/深度學(xué)習(xí)完全放到片上，提高集成度，降低功耗，不受芯片引腳數(shù)量的限制。HBM 在一定程度上解決了 IO 瓶頸。未來(lái)人工智能的數(shù)據(jù)量、計(jì)算量會(huì)越來(lái)越大，超過(guò)現(xiàn)有的 DDR/GDDR 帶寬瓶頸，HBM 可能會(huì)是唯一的解決方案。

巨頭領(lǐng)跑，各大存儲(chǔ)公司都已在 HBM 領(lǐng)域參與角逐。SK 海力士、三星、美光等存儲(chǔ)巨頭在HBM 領(lǐng)域展開(kāi)了升級(jí)競(jìng)賽，國(guó)內(nèi)佰維存儲(chǔ)等公司持續(xù)關(guān)注 HBM 領(lǐng)域。SK 海力士早在 2021 年10 月就開(kāi)發(fā)出全球首款 HBM3，2022 年 6 月量產(chǎn)了 HBM3 DRAM 芯片，并將供貨英偉達(dá)，持續(xù)鞏固其市場(chǎng)領(lǐng)先地位。三星也在積極跟進(jìn)，在 2022 年技術(shù)發(fā)布會(huì)上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，HBM3 技術(shù)已經(jīng)量產(chǎn)。

2、Chiplet技術(shù)：全產(chǎn)業(yè)鏈升級(jí)降本增效，國(guó)內(nèi)外大廠前瞻布局

Chiplet 即根據(jù)計(jì)算單元或功能單元將 SOC 進(jìn)行分解，分別選擇合適制程工藝制造。隨著處理器的核越來(lái)越多，芯片復(fù)雜度增加、設(shè)計(jì)周期越來(lái)越長(zhǎng)，SoC 芯片驗(yàn)證的時(shí)間、成本也急劇增加，特別是高端處理芯片、大芯片。當(dāng)前集成電路工藝在物理、化學(xué)很多方面都達(dá)到了極限，大芯片快要接近制造瓶頸，傳統(tǒng)的 SoC 已經(jīng)很難繼續(xù)被采納。Chiplet，俗稱小芯片、芯粒，是將一塊原本復(fù)雜的 SoC 芯片，從設(shè)計(jì)的時(shí)候就按照不同的計(jì)算單元或功能單元進(jìn)行分解，然后每個(gè)單元分別選擇最合適的半導(dǎo)體制程工藝進(jìn)行制造，再通過(guò)先進(jìn)封裝技術(shù)將各自單元彼此互聯(lián)。Chiplet 是一種類似搭樂(lè)高積木的方法，能將采用不同制造商、不同制程工藝的各種功能芯片進(jìn)行組裝，從而實(shí)現(xiàn)更高良率、更低成本。

Chiplet 可以從多個(gè)維度降低成本，延續(xù)摩爾定律的“經(jīng)濟(jì)效益”。隨著半導(dǎo)體工藝制程推進(jìn)，晶體管尺寸越來(lái)越逼近物理極限，所耗費(fèi)的時(shí)間及成本越來(lái)越高，同時(shí)所能夠帶來(lái)的“經(jīng)濟(jì)效益”的也越來(lái)越有限。Chiplet 技術(shù)可從三個(gè)不同的維度來(lái)降低成本：

（1）可大幅度提高大型芯片的良率：芯片的良率與芯片面積有關(guān)，Chiplet 設(shè)計(jì)將大芯片分成小模塊可以有效改善良率，降低因不良率導(dǎo)致的成本增加。

（2）可降低設(shè)計(jì)的復(fù)雜度和設(shè)計(jì)成本：Chiplet 通過(guò)在芯片設(shè)計(jì)階段就將 Soc 按照不同功能模塊分解成可重復(fù)云涌的小芯粒，是一種新形式的 IP 復(fù)用，可大幅度降低設(shè)計(jì)復(fù)雜度和成本累次增加。

（3）可降低芯片制造的成本：在 Soc 中的一些主要邏輯計(jì)算單元是依賴于先進(jìn)工藝制程來(lái)提升性能，但其他部分對(duì)制程的要求并不高，一些成熟制程即可滿足需求。將Soc進(jìn)行Chiplet化后對(duì)于不同的芯?？蛇x擇對(duì)應(yīng)合適的工藝制程進(jìn)行分開(kāi)制造，極大降低芯片的制造成本。

Chiplet 為全產(chǎn)業(yè)鏈提供了升級(jí)機(jī)會(huì)。在后摩爾時(shí)代，Chiplet 可以開(kāi)啟一個(gè)新的芯片生態(tài)。2022年 3 月，Chiplet的高速互聯(lián)標(biāo)準(zhǔn)——UCIe（UniversalChiplet Interconnect Express，通用芯?；ヂ?lián)技術(shù)）正式推出，旨在芯片封裝層面確立互聯(lián)互通的統(tǒng)一標(biāo)準(zhǔn)，打造一個(gè)開(kāi)放性的 Chiplet 生態(tài)系統(tǒng)。巨頭們合力搭建起了統(tǒng)一的 Chiplet 互聯(lián)標(biāo)準(zhǔn)，將加速推動(dòng)開(kāi)放的Chiplet 平臺(tái)發(fā)展，并橫跨 x86、Arm、RISC-V 等架構(gòu)和指令集。Chiplet 的影響力也從設(shè)計(jì)端走到芯片制造與封裝環(huán)節(jié)。在芯片小型化的設(shè)計(jì)過(guò)程中，需要添加更多 I/O 與其他芯片芯片接口，裸片尺寸必須要保持較大的空白空間。而且，要想保證 Chiplet 的信號(hào)傳輸質(zhì)量就需要發(fā)展高密度、大寬帶布線的先進(jìn)封裝技術(shù)。另外，Chiplet 也影響到從 EDA 廠商、晶圓制造和封裝公司、芯粒 IP 供應(yīng)商、Chiplet 產(chǎn)品及系統(tǒng)設(shè)計(jì)公司到 Fabless 設(shè)計(jì)廠商的產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)的參與者。

（1）最先受到影響的是芯片 IP 設(shè)計(jì)企業(yè)，Chiplet 本質(zhì)就是不同的 IP 芯片化，國(guó)內(nèi)類似 IP 商均有望參與其中，比如華為海思有 IP 甚至指令集開(kāi)發(fā)實(shí)力的公司，推出基于 RISC-V 內(nèi)核的處理器（玄鐵 910）阿里平頭哥半導(dǎo)體公司，獨(dú)立的第三方 IP 廠商，如芯動(dòng)科技、芯原股份、芯耀輝、銳成芯微、芯來(lái)等眾多 IP 公司等。

（2）Chiplet 需要 EDA 工具從架構(gòu)探索、芯片設(shè)計(jì)、物理及封裝實(shí)現(xiàn)等提供全面支持，為國(guó)內(nèi) EDA 企業(yè)發(fā)展帶來(lái)了突破口。芯和半導(dǎo)體已全面支持 2.5D Interposer、3DIC 和 Chiplet 設(shè)計(jì)。

（3）Chiplet 也推動(dòng)了先進(jìn)封裝技術(shù)的發(fā)展。根據(jù)長(zhǎng)電科技公告，在封測(cè)技術(shù)領(lǐng)域取得新的突破。4nm 芯片作為先進(jìn)硅節(jié)點(diǎn)技術(shù)，是導(dǎo)入 Chiplet 封裝的一部分通富微電提供晶圓級(jí)及基板級(jí)封裝兩種解決方案，其中晶圓級(jí) TSV 技術(shù)是 Chiplet 技術(shù)路徑的一個(gè)重要部分。

國(guó)外芯片廠率先發(fā)力，通過(guò) Chiplet 實(shí)現(xiàn)收益。AMD 的 EPYC 率先采用了 Chiplet 結(jié)構(gòu)，實(shí)現(xiàn)了在服務(wù)器 CPU 市場(chǎng)上的翻身。隨后，Ryzen 產(chǎn)品上重用了 EYPC Rome 的 CCD，這樣的 chiplet設(shè)計(jì)極好的降低了總研發(fā)費(fèi)用。2023 年 1 月，Intel 發(fā)布了采用了 Chiplet 技術(shù)的第四代至強(qiáng)可擴(kuò)展處理器 Sapphire Rapids 以及英特爾數(shù)據(jù)中心 GPU Max 系列等。Sapphire Rapids是 Intel 首個(gè)基于 Chiplet 設(shè)計(jì)的處理器，被稱為“算力神器”。Xilinx 的 2011 Virtex-72000T 是 4 個(gè)裸片的 Chiplet 設(shè)計(jì)。Xilinx 也是業(yè)界唯一的同構(gòu)和異構(gòu)的 3D IC。

3、CPO 技術(shù)：提升數(shù)據(jù)中心及云計(jì)算效率，應(yīng)用領(lǐng)域廣泛

CPO（Co-packaged，共封裝光學(xué)技術(shù)）是高速電信號(hào)能夠高質(zhì)量的在交換芯片和光引擎之間傳輸。在 5G 時(shí)代，計(jì)算、傳輸、存儲(chǔ)的帶寬要求越來(lái)越高，同時(shí)硅光技術(shù)也越來(lái)越成熟，因此板上和板間的光互連成為了一種必要的方式。隨著通道數(shù)大幅增加，需要專用集成電路（ASIC）來(lái)控制多個(gè)光收發(fā)模塊。傳統(tǒng)的連接方式是 Pluggable（可插拔），即光引擎是可插拔的光模塊，通過(guò)光纖和 SerDes 通道與網(wǎng)絡(luò)交換芯片（AISC）連接。之后發(fā)展出了 NPO（Near-packaged，近封裝光學(xué)），一種將光引擎和交換芯片分別裝配在同一塊 PCB 基板上的方式。而CPO 是一種將交換芯片和光引擎共同裝配在同一個(gè) Socketed（插槽）上的方式，形成芯片和模組的共封裝，從而降低網(wǎng)絡(luò)設(shè)備的功耗和散熱問(wèn)題。NPO 是 CPO 的過(guò)渡階段，相對(duì)容易實(shí)現(xiàn)，而 CPO 是最終解決方案。

隨著大數(shù)據(jù)及 AI 的發(fā)展，數(shù)據(jù)中心的需求激增，CPO 有著廣泛的應(yīng)用前景。在數(shù)據(jù)中心領(lǐng)域，CPO 技術(shù)可以實(shí)現(xiàn)更高的數(shù)據(jù)密度和更快的數(shù)據(jù)傳輸速度，還可以減少系統(tǒng)的功耗和空間占用，降低數(shù)據(jù)中心的能源消耗和維護(hù)成本，能夠應(yīng)用于高速網(wǎng)絡(luò)交換、服務(wù)器互聯(lián)和分布式存儲(chǔ)等領(lǐng)域，例如，F(xiàn)acebook 在其自研的數(shù)據(jù)中心網(wǎng)絡(luò) Fabric Aggregator 中采用了CPO 技術(shù)，提高了網(wǎng)絡(luò)的速度和質(zhì)量。在云計(jì)算領(lǐng)域，CPO 技術(shù)可以實(shí)現(xiàn)高速云計(jì)算和大規(guī)模數(shù)據(jù)處理。例如微軟在其云計(jì)算平臺(tái) Azure 中采用了 CPO 技術(shù)，實(shí)現(xiàn)更高的數(shù)據(jù)密度和更快的數(shù)據(jù)傳輸速度，提高云計(jì)算的效率和性能。

在 5G 通信領(lǐng)域，CPO 技術(shù)可以實(shí)現(xiàn)更快的無(wú)線數(shù)據(jù)傳輸和更穩(wěn)定的網(wǎng)絡(luò)連接。例如華為在其 5G 通信系統(tǒng)中采用了 CPO 技術(shù)，將收發(fā)器和芯片封裝在同一個(gè)封裝體中，從而實(shí)現(xiàn)了高速、高密度、低功耗的通信。除此之外，5G/6G 用戶的增加，人工智能、機(jī)器學(xué)習(xí) (ML)、物聯(lián)網(wǎng) (IoT) 和虛擬現(xiàn)實(shí)流量的延遲敏感型流量激增，對(duì)光收發(fā)器的數(shù)據(jù)速率要求將快速增長(zhǎng)；AI、ML、VR 和 AR 對(duì)數(shù)據(jù)中心的帶寬要求巨大，并且對(duì)低延遲有極高的要求，未來(lái) CPO 的市場(chǎng)規(guī)模將持續(xù)高速擴(kuò)大。

審核編輯 ：李倩