用于模擬各類場景的高性能計算（HPC）類工作負載，總會產(chǎn)生大量有待篩選的數(shù)據(jù)。事實上，這也正是HPC與AI的最大區(qū)別：前者輸入數(shù)據(jù)少，輸出數(shù)據(jù)多；后者則需要輸入大量信息，通過訓(xùn)練轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)中的少量參數(shù)和權(quán)重。

但在HPC模擬所生成的數(shù)萬億個粒子當(dāng)中，真正值得研究人員關(guān)注的可能只是幾百或幾千個粒子的實際行為。

洛斯阿拉莫斯國家實驗室副部門負責(zé)人加里·格里德(Gary Grider)在采訪中表示，“這就像是大海撈針，實際要尋找的只是總體數(shù)據(jù)中的小小一部分?！边@個問題在體量較小的數(shù)據(jù)集上相對好些，但阿拉莫斯實驗室卻向來以超大規(guī)模研究著稱?！拔覀兛赡軙\行一個內(nèi)存占用量高達PB級別的實驗，而它往往每隔幾分鐘就輸出一次PB級數(shù)據(jù)”，且整個過程會持續(xù)半年之久。

為了篩選這些數(shù)據(jù)，科學(xué)家們使用一套分析工具來查明到底哪些信息真正具有價值。過去幾年來，阿拉莫斯實驗室一直在想辦法讓分析負載跟數(shù)據(jù)盡可能接近，甚至考慮把計算轉(zhuǎn)移到閃存或硬盤控制器上。從某種意義上說，阿拉莫斯實驗室及其合作伙伴想要構(gòu)建一套大型磁盤控制器集群，利用上面的空閑時鐘周期來處理分析功能。

阿拉莫斯實驗室的研究人員已經(jīng)取得了一定進展。通過與SK海力士合作，他們實現(xiàn)了將規(guī)約功能引入控制器的概念驗證，借此獲得了幾個數(shù)量級的性能改進。

格里德表示，“我們已經(jīng)證明，通過對規(guī)約這類簡單分析的全速執(zhí)行，磁盤驅(qū)動器自身就能從磁盤內(nèi)提取數(shù)據(jù)，從而徹底消除了傳輸帶寬產(chǎn)生的成本?！?/p>

跟能源部下轄的其他HPC實驗室一樣，阿拉莫斯實驗室同樣采用分層存儲架構(gòu)，目前已經(jīng)開始在更大的磁盤池上做類似的探索。為了更進一步，阿拉莫斯實驗室與希捷簽訂了合作研發(fā)協(xié)議。

“事實證明，希捷方面也在嘗試將部分負載轉(zhuǎn)移到存儲設(shè)備上。他們已經(jīng)擁有原型方案，處理器就部署在磁盤驅(qū)動器旁邊?！?/p>

彈性問題

但大家都知道，機械硬盤與閃存不同。閃存內(nèi)部不存在移動部件，而且在使用壽命之內(nèi)具有相對更可預(yù)測的故障率。相比之下，硬盤驅(qū)動器內(nèi)部存在機械結(jié)構(gòu)，隨時都有可能發(fā)生故障。這就要求對硬盤做一定程度的彈性化改造——換言之，引入擦除碼或RAID。

“但這也會增加分析流程的復(fù)雜度。要進行分析，我們必須了解數(shù)據(jù)是什么。但磁盤驅(qū)動器往往做不到它一點，它只會把所有信息都看作數(shù)據(jù)塊?！?/p>

因此加里德的團隊必須從零開始構(gòu)建一套專用于存儲加速分析的文件系統(tǒng)，否則一切都只是空談。

“我們不希望這事只有阿拉莫斯實驗室自己參與，畢竟我們后續(xù)得定期采購、還需要廠商提供售后支持?！?/p>

于是，阿拉莫斯實驗室選擇對現(xiàn)有文件系統(tǒng)做“魔改”，選擇的則是Sun Microsystems早年間打造的Zettabyte文件系統(tǒng)。這是一套專門管理大型彈性磁盤驅(qū)動器池的系統(tǒng)，如今被人們親切稱為Spinning Rust。ZFS還能配合Gluster實現(xiàn)多節(jié)點擴展，Gluster則是Red Hat當(dāng)初收購來的集群文件系統(tǒng)。至于分析任務(wù)，工程師們將努力調(diào)整文件系統(tǒng)，讓它能與Apache的分析堆棧配合運作。

“我們希望努力打造出任何人都能使用的標(biāo)準(zhǔn)工具?！?/p>

雖然阿拉莫斯實驗室及其合作伙伴有望構(gòu)建起一套能夠直驅(qū)分析處理的文件系統(tǒng)，但其初期部署難度絕不是一般用戶所能承受的。

因此，格里德希望進一步完善文件系統(tǒng)和分析工具，吸引標(biāo)準(zhǔn)機構(gòu)和軟件開發(fā)者為其添加更多功能，最終打造出一款面向主流受眾的新方案。

任重而道遠

格里德也承認，這方面還有很多工作要做?！耙_到消費級應(yīng)用的程度，可謂是任重而道遠。我們接下來要做的是將其轉(zhuǎn)化成某種對象模型，而不再是文件中的一個個塊?！?/p>

目前，阿拉莫斯實驗室的初步目標(biāo)是將少量分析功能轉(zhuǎn)移至磁盤控制器。

“我們還沒有將完整的分析工作負載轉(zhuǎn)移到磁盤驅(qū)動器上，目前做的主要是規(guī)約還有一部分合并。但總體來看，規(guī)約已經(jīng)可以在設(shè)備層次上實現(xiàn)，之后還有合并和排序這類通常在閃存或內(nèi)存中實現(xiàn)的操作?！?/p>

目前最大的障礙并不是算力，而是磁盤所內(nèi)置的有限內(nèi)存。格里德坦言，“現(xiàn)在磁盤的內(nèi)置內(nèi)存太小，不足以做排序，只能完成選擇操作。所以接下來的問題是，我們要怎樣增加磁盤的內(nèi)置內(nèi)存容量來提升操作復(fù)雜度?！?/p>

審核編輯 ：李倩