三星SOCAMM2

一款基于LPDDR的新型服務(wù)器內(nèi)存模組，適用于下一代AI數(shù)據(jù)中心

隨著人工智能在全球范圍內(nèi)加速普及，數(shù)據(jù)中心的計算工作負載正經(jīng)歷爆炸式增長。隨著大規(guī)模模型訓練向持續(xù)推理的轉(zhuǎn)變，挑戰(zhàn)不再僅僅局限于性能一一能效對于維持下一代人工智能基礎(chǔ)設(shè)施的運行也變得至關(guān)重要。這一轉(zhuǎn)變推動了對低功耗內(nèi)存解決方案的需求，這些解決方案既能支持持續(xù)的人工智能工作負載，又能降低功耗。

順應這一趨勢，三星開發(fā)了SOCAMM2(小型壓縮附加內(nèi)存模組) 一一一款基于LPDDR的服務(wù)器內(nèi)存模組，專為AI數(shù)據(jù)中心設(shè)計，目前已向客戶提供樣品。SOCAMM2結(jié)合了LPDDR技術(shù)的優(yōu)勢與模塊化、可拆卸設(shè)計，可提供更高帶寬、更佳能效和更靈活的系統(tǒng)集成，從而幫助AI服務(wù)器實現(xiàn)更高效率與可擴展性。

SOCAMM2被關(guān)注的技術(shù)優(yōu)勢

基于三星最新的LPDDR5XDRAM，SOCAMM2融合了LPDDR的低功耗特性與模塊化架構(gòu)的優(yōu)勢，為數(shù)據(jù)中心提供了更豐富的內(nèi)存選擇。

雖然基于DDR的服務(wù)器模組(如RDIMM，即寄存式雙列直插內(nèi)存模組)仍是高容量通用服務(wù)器的主流方案，但SOCAMM2作為互補選擇，面向需要快速響應與高能效的下一代AI加速服務(wù)器進行了優(yōu)化。相較傳統(tǒng)RDIMM，SOCAMM2的帶寬可提升至兩倍以上，功耗可降低55%以上，并在高強度AI工作負載下保持穩(wěn)定的高吞吐量表現(xiàn)。

投入使用SOCAMM2

給客戶帶來的利益

SOCAMM2的架構(gòu)創(chuàng)新使客戶能夠以更高的效率、靈活性和可靠性運行AI服務(wù)器。

其可拆卸設(shè)計簡化了系統(tǒng)維護和生命周期管理。與傳統(tǒng)的焊接式LPDDR解決方案不同，SOCAMM2無需對主板進行任何修改即可輕松升級或更換內(nèi)存，從而幫助系統(tǒng)管理員最大限度減少停機時間，并顯著降低總體擁有成本(TCO)。

此外，SOCAMM2更高的能效表現(xiàn)使AI服務(wù)器部署中的散熱管理更加便捷高效，有助于數(shù)據(jù)中心維持熱穩(wěn)定性并降低冷卻需求一一這對于高密度AI環(huán)境至關(guān)重要。

最后，相較于RDIMM的垂直布局，SOCAMM2采用水平布局進一步提升了系統(tǒng)空間利用率，使散熱器布局與氣流設(shè)計更具靈活性，從而更順暢地與CPU和加速器集成，同時保持與風冷和液冷系統(tǒng)的兼容性。

與NVIDIA 和 JEDEC

標準化組織緊密合作

三星正在擴大其與全球AI產(chǎn)業(yè)伙伴的合作，以加速基于LPDDR的服務(wù)器解決方案的普及，并應對服務(wù)器市場日益增長的低功耗內(nèi)存需求。特別是，三星正與NVIDIA密切合作，通過持續(xù)的技術(shù)合作，優(yōu)化SOCAMM2以適配NVIDIA加速的基礎(chǔ)設(shè)施，確保其能夠提供下一代推理平臺所需的高響應性與能效。

NVIDIA也強調(diào)了這種合作關(guān)系：“隨著人工智能工作負載從訓練轉(zhuǎn)向用于復雜推理和物理人工智能應用的快速推理，下一代數(shù)據(jù)中心需要兼具高性能和卓越能效的內(nèi)存解決方案，”NVIDIA高性能計算和人工智能基礎(chǔ)設(shè)施解決方案高級總監(jiān)DionHarris表示?！拔覀兣c三星的持續(xù)技術(shù)合作旨在優(yōu)化SOCAMM2等內(nèi)存解決方案，以提供人工智能基礎(chǔ)設(shè)施所必需的高響應速度與能效?！?/p>

隨著SOCAMM2作為下一代人工智能系統(tǒng)的低功耗、高帶寬解決方案日益普及，業(yè)界已正式開展基于LPDDR的服務(wù)器模塊標準化工作，并已進入收尾階段。三星與主要合作伙伴共同參與了這項工作，致力于制定統(tǒng)一的設(shè)計準則，并促進未來人工智能平臺之間的無縫集成。

通過與更廣泛的人工智能生態(tài)系統(tǒng)持續(xù)合作，三星正推動下一代人工智能基礎(chǔ)設(shè)施向低功耗、高帶寬內(nèi)存轉(zhuǎn)型。SOCAMM2是業(yè)界的一個重要里程碑一一它將LPDDR技術(shù)引I入主流服務(wù)器環(huán)境，并推動向新興的超級芯片時代過渡。通過將LPDDR與模塊化架構(gòu)相結(jié)合，SOCAMM2為構(gòu)建更緊湊、更節(jié)能的人工智能系統(tǒng)提供了新的方向。

隨著人工智能工作負載的規(guī)模和復雜性不斷增長，三星將進一步推進其基于LPDDR的服務(wù)器內(nèi)存產(chǎn)品組合，以更好地支持下一代人工智能數(shù)據(jù)中心的發(fā)展。