摘要/前言

硬件加速，可能總會(huì)是新的難點(diǎn)和挑戰(zhàn)。面對(duì)信息速率和密度不斷提升的AI，技術(shù)進(jìn)步也會(huì)遵循摩爾定律，那硬件互連準(zhǔn)備好了嗎？

Samtec China Sr. FAE Manager 胡亞捷?在Keysight實(shí)驗(yàn)室開(kāi)放日上海站做深度分享時(shí)，提出了以上這樣的問(wèn)題。

本次活動(dòng)由Keysight主辦，在上海、北京舉辦開(kāi)放實(shí)驗(yàn)室主題日活動(dòng)，攜手Samtec的技術(shù)專(zhuān)家，共同探討確保 AI 互連穩(wěn)健性的趨勢(shì)、挑戰(zhàn)和解決方案。

從摩爾定律看AI發(fā)展

回顧半導(dǎo)體行業(yè)，英特爾創(chuàng)始人戈登?摩爾提出的摩爾定律，在過(guò)去五十多年近乎完美地驗(yàn)證了半導(dǎo)體技術(shù)的發(fā)展。集成電路上可容納的晶體管數(shù)目大約每隔 18 - 24 個(gè)月便會(huì)增加一倍，性能提升一倍，價(jià)格卻保持不變。而在 AI 領(lǐng)域，也有著類(lèi)似的發(fā)展規(guī)律。

Samtec 胡亞捷 將?Ilya Sutskever（OpenAI前首席科學(xué)家）提出的“LLM pre-training hitting a wall” 問(wèn)題作為引子，進(jìn)入到硬件行業(yè)發(fā)展速度回顧和發(fā)展的討論。這里的?“撞墻” 主要指的是大型語(yǔ)言模型（LLM）在預(yù)訓(xùn)練 (pre-training) 階段的性能提升遇到了瓶頸，即通過(guò)增加模型規(guī)模、數(shù)據(jù)量和計(jì)算資源來(lái)提升模型性能的效果正在顯著減弱和趨于平穩(wěn)，邊際效益顯著遞減。這一話(huà)題最近曾在 AI 社區(qū)引發(fā)了廣泛討論。

“AI 能力和性能不斷提升，模型的規(guī)模和復(fù)雜度持續(xù)增長(zhǎng)，就如同摩爾定律下半導(dǎo)體性能的迭代。例如，AI 模型的參數(shù)性能一直爬坡，比如 token 生成速度指數(shù)級(jí)上升，這種增長(zhǎng)趨勢(shì)與摩爾定律下晶體管數(shù)量的增長(zhǎng)有著異曲同工之妙。”

另外，對(duì)于摩爾定律在?AI 硬件中的映射，他比較贊同推特上的大神@fin 老師的針對(duì)這個(gè)問(wèn)題的觀點(diǎn) ：

“目前我們面對(duì)的，早已不再狹義的摩爾定律。但每一次過(guò)分的要求，每一次技術(shù)撞墻，都一定會(huì)開(kāi)辟新的世界。技術(shù)與市場(chǎng)的蓬勃發(fā)展，已演進(jìn)成廣義摩爾定律，即多個(gè)技術(shù)曲線(xiàn)的互相累積疊加形成的現(xiàn)象，比如制程、材料、互連和運(yùn)算方式等?！?/p>

為此，他還從未來(lái)數(shù)年芯片加速的若干維度輔助進(jìn)行了擴(kuò)展分享。

硬件是根基 互連為橋梁

硬件是 AI 發(fā)展的根基，就如同高樓大廈的地基。沒(méi)有強(qiáng)大的硬件支持，AI的各種設(shè)想和應(yīng)用都將成為空中樓閣。為了滿(mǎn)足 AI 日益增長(zhǎng)的算力需求，硬件對(duì)于互連的要求越來(lái)越“過(guò)分”。

但Samtec可以滿(mǎn)足。我們擁有豐富的產(chǎn)品線(xiàn)和強(qiáng)大的技術(shù)研發(fā)能力，能夠?yàn)?AI 硬件互連提供全方位的解決方案。我們的產(chǎn)品不僅性能卓越，而且具有高度的可靠性和穩(wěn)定性。在全球范圍內(nèi)，Samtec 與眾多知名企業(yè)建立了長(zhǎng)期合作關(guān)系，廣泛應(yīng)用于數(shù)據(jù)中心、智能汽車(chē)、5G、物聯(lián)網(wǎng)等多個(gè)與 AI 緊密相關(guān)的領(lǐng)域。

分享中，胡亞捷重點(diǎn)從四個(gè)板塊，為大家介紹了Samtec在AI領(lǐng)域的解決方案。

Chipsets（芯片開(kāi)發(fā)）

在芯片開(kāi)發(fā)過(guò)程中，量測(cè)是必不可少的環(huán)節(jié)。Samtec 為客戶(hù)推薦集成式的射頻線(xiàn)束產(chǎn)品，如?Bulls Eye? 測(cè)試點(diǎn)系統(tǒng)，具有壓縮接口、小尺寸、高循環(huán)次數(shù)和 70GHz 的高性能，相比離散 SMA 通?？晒?jié)省 4:1 的空間，其高密度能實(shí)現(xiàn)更小的評(píng)估板和更短的走線(xiàn)長(zhǎng)度，極大地滿(mǎn)足了芯片開(kāi)發(fā)中的測(cè)試需求，為芯片的研發(fā)和優(yōu)化提供了有力支持。

“

SoMs/CoMs（系統(tǒng)模塊/計(jì)算機(jī)模塊）

當(dāng)客戶(hù)的系統(tǒng)涉及 AI 相關(guān)的模塊板時(shí)，需要高可靠性、高密高速的板到板連接器。Samtec 的?AcceleRate? HD?超密集、多行陣列，具有高速?Edge Rate? 觸點(diǎn)，專(zhuān)為高速、高循環(huán)應(yīng)用設(shè)計(jì)，并且兼容 PCIe? 5.0；還有 Xilinx? Kria?自適應(yīng) SoM，采用一對(duì) 240 引腳的 AcceleRate? HD 超密集薄型陣列，小尺寸和 56Gbps PAM4 性能使其適用于 AI 邊緣應(yīng)用，為 AI 模塊板的穩(wěn)定運(yùn)行提供了可靠保障。

“

Accelerators（加速卡）

在加速卡應(yīng)用中，卡與卡之間的互連至關(guān)重要。Samtec 提供多種解決方案，如?AcceleRate? HD 超薄，可實(shí)現(xiàn) 32 GT/s PCIe? 5.0 速度，適用于目標(biāo) AI - HPC 架構(gòu)；其?Twinax Flyover? 系統(tǒng)等高速電纜組件，能簡(jiǎn)化板布局并延長(zhǎng)信號(hào)傳輸距離，滿(mǎn)足加速卡之間高數(shù)據(jù)速率、低延遲的瞬時(shí)數(shù)據(jù)結(jié)果傳輸要求，有效提升了加速卡的性能和效率。

“

DSAs(特定領(lǐng)域架構(gòu))

DSA 是針對(duì)特定計(jì)算任務(wù)或應(yīng)用優(yōu)化的硬件架構(gòu)。Samtec 為支持 DSA，提供一系列能滿(mǎn)足其高速、高密度、低延遲等要求的產(chǎn)品，像高速連接器、電纜組件等，以實(shí)現(xiàn) DSA 架構(gòu)中各組件之間的高效互聯(lián)。例如其提供的高性能銅纜和光纜產(chǎn)品，可支持 DSA 所需的極高數(shù)據(jù)速率和靈活配置，助力 DSA 架構(gòu)在 AI 特定領(lǐng)域發(fā)揮出最大效能。

上海站小結(jié)

除了Samtec胡亞捷的分享外，來(lái)自主辦方Keysight的專(zhuān)家們，也分別針對(duì)“高速 AEC/AOC 電纜測(cè)試解決方案”和“下一代AI互聯(lián)的測(cè)試測(cè)量要求和測(cè)試方案”做了專(zhuān)業(yè)分享。

在會(huì)議當(dāng)中，是德科技的射頻微波解決方案工程師何曉苑，深入剖析了AI產(chǎn)業(yè)互聯(lián)的發(fā)展趨勢(shì)，細(xì)致闡述了面對(duì)全新行業(yè)發(fā)展方向，市場(chǎng)對(duì)互聯(lián)線(xiàn)纜提出的新要求。不僅如此，何曉苑還詳盡介紹了是德科技針對(duì)這些新興測(cè)試測(cè)量需求所精心打造的完整測(cè)試解決方案，為行業(yè)發(fā)展提供了極具價(jià)值的思路與參考。

Keysight 射頻微波解決方案工程師 何曉苑

是德科技解決方案工程師張曉指出，伴隨AI智算網(wǎng)絡(luò)硬件持續(xù)發(fā)展，用于算力芯片Scale-up網(wǎng)絡(luò)機(jī)間互連的ACC（Active Copper Cable，有源銅纜）和AEC（Active Electrical Cable，有源電纜），以及應(yīng)用于內(nèi)存和存儲(chǔ)池化的PCIe AOC（Active Optical Cable，有源光纜）愈發(fā)受到關(guān)注。張曉在會(huì)議中介紹，是德科技提供的112Gbps/lane有源電纜測(cè)試方案，獲得了IBTA（Infiniband Trade Association，國(guó)際InfiniBand貿(mào)易協(xié)會(huì)）官網(wǎng)認(rèn)可；同時(shí)，其PCIe5.0/6.0 AOC有源電纜測(cè)試方案也已通過(guò)客戶(hù)驗(yàn)證。

Keysight 解決方案工程師 張曉

現(xiàn)場(chǎng)，Keysight還與Samtec共同展出了Demo方案，供用戶(hù)直觀體驗(yàn)和討論。

測(cè)試環(huán)境示意圖

Samtec對(duì)于AI的部分理解

回答開(kāi)篇的問(wèn)題：面對(duì) AI 發(fā)展對(duì)硬件互連提出的要求，目前的互連準(zhǔn)備好了嗎？

答案是：YES！Samtec準(zhǔn)備好了！

硬件互連技術(shù)是 AI 產(chǎn)業(yè)發(fā)展的關(guān)鍵支撐，它的進(jìn)步將直接推動(dòng) AI 技術(shù)的突破和應(yīng)用拓展。硬件互連技術(shù)作為幕后英雄，雖然不常被大眾矚目，但卻發(fā)揮著不可或缺的關(guān)鍵作用。

Samtec 在硬件互連領(lǐng)域的持續(xù)創(chuàng)新和努力，為AI的發(fā)展提供了堅(jiān)實(shí)的保障。相信在未來(lái)，硬件互連技術(shù)與 AI 將相互促進(jìn)、協(xié)同發(fā)展，共同創(chuàng)造更加精彩的科技篇章 。

以上，是上海站的部分精彩，大家如有興趣，還會(huì)有北京站可以參加。