來源：半導(dǎo)體芯科技編譯

業(yè)內(nèi)率先推出8層垂直堆疊的24GB容量HBM3 Gen2，帶寬超過1.2TB/s，并通過先進(jìn)的1β工藝節(jié)點(diǎn)實(shí)現(xiàn)“卓越功效”。

美光科技已開始提供業(yè)界首款8層垂直堆疊的24GB容量HBM3 Gen2內(nèi)存樣品，其帶寬超過1.2TB/s，引腳速度超過9.2Gb/s，相比目前出貨的HBM3解決方案提高了50%。美光的HBM3 Gen2產(chǎn)品的每瓦性能是前幾代產(chǎn)品的2.5倍，據(jù)稱為關(guān)鍵人工智能（AI）數(shù)據(jù)中心性能、容量和功效指標(biāo)創(chuàng)造了新記錄。美光本次改進(jìn)可減少GPT-4等大型語言模型的訓(xùn)練時間，為AI推理提供高效的基礎(chǔ)設(shè)施應(yīng)用，并提供卓越的總擁有成本（TCO）。

美光高帶寬內(nèi)存（HBM）解決方案的基礎(chǔ)是美光1β (1-beta) DRAM工藝節(jié)點(diǎn)，該節(jié)點(diǎn)允許將24Gb DRAM芯片組成行業(yè)標(biāo)準(zhǔn)封裝尺寸內(nèi)的8層垂直堆疊的立方體。此外，美光的12層垂直堆疊的堆棧容量為36GB，將于2024年第一季度開始提供樣品。美光表示，與現(xiàn)有的競爭解決方案相比，它在給定的堆棧高度下提供的容量增加了50%。美光的HBM3 Gen2 性能功耗比和引腳速度改進(jìn)對于管理當(dāng)今人工智能數(shù)據(jù)中心的極端功耗需求至關(guān)重要。美光在技術(shù)方面的進(jìn)步，讓能效提升成為可能，例如硅通孔（TSV）比競爭對手的HBM3產(chǎn)品增加了一倍，通過金屬密度增加五倍，從而降低熱阻抗，此外，還設(shè)計了更為節(jié)能的數(shù)據(jù)通路。

美光很榮幸成為臺積電3DFabric Alliance的合作伙伴，幫助塑造半導(dǎo)體和系統(tǒng)的創(chuàng)新未來。作為HBM3 Gen2產(chǎn)品開發(fā)工作的一部分，美光與臺積電之間的合作為AI和HPC設(shè)計應(yīng)用計算系統(tǒng)的順利引入和集成奠定了基礎(chǔ)。臺積電已收到美光HBM3 Gen2內(nèi)存樣品，并與美光密切合作進(jìn)行進(jìn)一步的評估和測試，助力客戶的下一代HPC應(yīng)用創(chuàng)新。

美光HBM3 Gen2解決方案滿足了生成式AI領(lǐng)域?qū)Χ嗄B(tài)、數(shù)萬億參數(shù)AI模型日益增長的需求。每個立方體容量為24GB，引腳速度超過9.2Gb/s，大型語言模型的訓(xùn)練時間減少30%以上，從而降低TCO。此外，美光產(chǎn)品觸發(fā)每日查詢量顯著增加，從而能夠更有效地利用經(jīng)過訓(xùn)練的模型。美光HBM3 Gen2擁有業(yè)界一流的每瓦性能，能切實(shí)推動現(xiàn)代AI數(shù)據(jù)中心節(jié)省成本。對于安裝1000萬個GPU的情況，每個HBM立方體可節(jié)約5W功耗，預(yù)計在五年內(nèi)可節(jié)省高達(dá)5.5億美元的運(yùn)營費(fèi)用。

美光計算產(chǎn)品集團(tuán)副總裁兼總經(jīng)理Praveen Vaidyanathan表示：“美光HBM3 Gen2技術(shù)的開發(fā)旨在為客戶和行業(yè)提供卓越的人工智能和高性能計算解決方案。對我們來說，一個重要的標(biāo)準(zhǔn)是，HBM3 Gen2產(chǎn)品在客戶平臺上是否易于集成。其完全可編程的內(nèi)存內(nèi)建自測試（MBIST）可在完整規(guī)格的引腳速度下運(yùn)行，能夠?yàn)榭蛻籼峁└鼜?qiáng)大的測試能力，實(shí)現(xiàn)高效協(xié)作，助力客戶縮短產(chǎn)品上市時間。”

NVIDIA超大規(guī)模和HPC計算副總裁Ian Buck表示：“生成式AI的核心是加速計算，它受益于HBM高帶寬，可帶來更出色的能效。我們與美光在眾多產(chǎn)品領(lǐng)域有著長期合作，并且非常期待與美光在HBM3 Gen2上合作，促進(jìn)AI創(chuàng)新。”

美光利用其全球工程機(jī)構(gòu)開發(fā)了這一突破性產(chǎn)品，于美國進(jìn)行設(shè)計和工藝開發(fā)，在日本進(jìn)行內(nèi)存制造，在臺灣進(jìn)行先進(jìn)封裝。美光此前宣布推出基于1α (1-alpha)節(jié)點(diǎn)、24Gb單塊DRAM裸片的96GB容量DDR5模組，用于大容量服務(wù)器解決方案，如今又推出了基于1β節(jié)點(diǎn)24Gb芯片24GB容量HBM3產(chǎn)品。公司還計劃在2024年上半年推出基于1β節(jié)點(diǎn)32Gb單塊DRAM裸片的128GB容量DDR5模組。這些產(chǎn)品展示了美光在AI服務(wù)器方面的技術(shù)創(chuàng)新。

審核編輯 黃宇