近日，中國移動研究院副院長段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產(chǎn)業(yè)合作伙伴，共同推出了“芯合”異構(gòu)混合并行訓練系統(tǒng)1.0版本。

該系統(tǒng)具備兩大核心能力，首先是基于非均勻計算任務(wù)切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓練框架，實現(xiàn)了異構(gòu)數(shù)據(jù)并行和異構(gòu)流水線并行，能夠靈活應對各種復雜的計算任務(wù)。通過這一技術(shù)，系統(tǒng)能夠根據(jù)異構(gòu)算力的特點，自適應地調(diào)整數(shù)據(jù)微批次大小、數(shù)量以及流水線并行度等參數(shù)，從而充分發(fā)揮不同計算單元的性能優(yōu)勢。

其次，“芯合”系統(tǒng)還采用了基于GDR(GPU Direct RDMA)的異構(gòu)芯片高速通信技術(shù)。這一技術(shù)為異構(gòu)芯片之間的數(shù)據(jù)傳輸提供了高速通道，極大地提升了數(shù)據(jù)傳輸效率，從而進一步提升了系統(tǒng)的整體性能。

“芯合”異構(gòu)混合并行訓練系統(tǒng)1.0的發(fā)布，標志著中國移動及其合作伙伴在異構(gòu)計算領(lǐng)域取得了重要突破，為未來的高性能計算和人工智能應用提供了更加高效和靈活的訓練平臺。