近期，來自富士通（Fujitsu）的研究員們宣布他們打破了ImageNet的訓練速度記錄——在74.7秒內(nèi)達到75%的準確率。這比去年11月由索尼（Sony）創(chuàng)下的前紀錄快了47秒。

團隊取得這樣的紀錄，得益于日本東京大學（University of Tokyo）的AI Bridging Cloud Infrastructure（ABCI）系統(tǒng)上的2,048塊NVIDIA Tesla V100 GPU，以及MXNet深度學習架構。

ABCI系統(tǒng)是日本最快的超級計算機，在世界超級計算機榜單中也名列前10。該系統(tǒng)由超過4,300塊NVLink互聯(lián)的NVIDIA V100 GPU提供算力。Sony此前保持的紀錄也是借助此系統(tǒng)實現(xiàn)的。

富士通（Fujitsu）在一篇文章中介紹：“基于此技術，富士通實驗室（Fujitsu Laboratories）深耕HPC發(fā)展，公司現(xiàn)已開發(fā)出了新的技術，能夠在保證訓練準確率的同時拓展每塊GPU的計算量?！?/p>

為了對使用大批量mini-batch訓練深度神經(jīng)網(wǎng)絡（DNN）時發(fā)生的驗證準確性進行補償，團隊“使用了相關技術，在不影響準確率的同時，增大了小批量的體量?！?/p>

研究人員介紹說：“眾所周知，具有數(shù)據(jù)并行性的分布式深度學習是加速集群訓練的有效方法。通過這種方法，在集群上運行的所有步驟都具有相同的DNN模型和權重。”

研究人員們同時也借助了Tensor核心的混合精度。

該DNN架構經(jīng)過優(yōu)化，基于ImageNet在74.7秒的時間內(nèi)完成 ResNet-50訓練，而且驗證準確率高達75.08%。

團隊還能夠使用高達81,920個的大批量mini-batch，同時保持75.08%的準確率（如上表中第3個數(shù)據(jù)點所示）。

為實現(xiàn)這一里程碑式的成果，大量的NVIDIA技術被應用其中，其中就包括層級對應的適應率縮放（Layer-wise Adaptive Rate Scaling）。

該項工作目前已在ArXiv 和富士通博客上發(fā)表。