如今，各行業(yè)領(lǐng)域的組織都在將機(jī)器學(xué)習(xí)技術(shù)(如人工智能)引入其業(yè)務(wù)流程，致力于為客戶提供更好的產(chǎn)品，為股東提供更高的利潤。但有效地實(shí)施人工智能需要定制的機(jī)器學(xué)習(xí)模型、大量的計(jì)算和幾乎無法估量的數(shù)據(jù)量。這些數(shù)據(jù)包括從最小的物聯(lián)網(wǎng)(IoT)設(shè)備數(shù)據(jù)到大都市的PB級(jí)數(shù)據(jù)，對(duì)于在兆字節(jié)和毫秒時(shí)代設(shè)計(jì)的存儲(chǔ)技術(shù)來說可能是一項(xiàng)挑戰(zhàn)。

將所有數(shù)據(jù)提供給機(jī)器學(xué)習(xí)需要一種專為內(nèi)存速度存儲(chǔ)而設(shè)計(jì)的新存儲(chǔ)接口技術(shù)：NVM Express(NVMe)。與SATA和SAS不同，NVMe消除了延遲誘導(dǎo)的磁盤中心協(xié)議，而是使用最快的通用處理器連接技術(shù)PCI Express(PCIe)，以最大限度地減少延遲，并為每個(gè)設(shè)備提供大量帶寬。這種具有PB級(jí)存儲(chǔ)和微秒存儲(chǔ)速度的技術(shù)使NVMe協(xié)議成為機(jī)器學(xué)習(xí)的絕佳選擇。

|| 數(shù)據(jù)作為一種人工智能管道

機(jī)器學(xué)習(xí)的關(guān)鍵是數(shù)據(jù)。而處理有意義結(jié)果所需的數(shù)據(jù)量需要采用經(jīng)過驗(yàn)證的數(shù)據(jù)管道。為了滿足其業(yè)務(wù)需求，每個(gè)企業(yè)的數(shù)據(jù)管道都有所不同，但所有管道都具有相同的一般階段：收集、準(zhǔn)備、設(shè)計(jì)、訓(xùn)練。這四個(gè)階段數(shù)據(jù)管道的輸出通常是一個(gè)模型，然后可以對(duì)邊緣或核心中的新數(shù)據(jù)進(jìn)行推斷。但是，由于通常需要大量數(shù)據(jù)，所有階段都必須優(yōu)化其數(shù)據(jù)流以避免出現(xiàn)瓶頸。NVMe接口專為此類任務(wù)而設(shè)計(jì)，可以通過四種方式為人工智能管道提供幫助：

?更快、更經(jīng)濟(jì)的數(shù)據(jù)收集

?更快的數(shù)據(jù)集準(zhǔn)備周轉(zhuǎn)時(shí)間

?縮短模型設(shè)計(jì)周期的周轉(zhuǎn)時(shí)間

?更有效的硬件模型培訓(xùn)

|| NVMe用于智能數(shù)據(jù)收集

實(shí)施人工智能的第一個(gè)挑戰(zhàn)是將原始數(shù)據(jù)收集到中央數(shù)據(jù)存儲(chǔ)中。這些數(shù)據(jù)的種類幾乎是無限的：來自物聯(lián)網(wǎng)設(shè)備的傳感器報(bào)告、網(wǎng)絡(luò)日志、制造質(zhì)量報(bào)告等。實(shí)際上，Apache Spark和商業(yè)服務(wù)等工具處理此任務(wù)并對(duì)傳入數(shù)據(jù)流執(zhí)行過濾，最后將非結(jié)構(gòu)化數(shù)據(jù)存入NoSQL數(shù)據(jù)庫集群。NVMe可以減少這些服務(wù)器的物理占用空間，同時(shí)提高其響應(yīng)能力。

傳統(tǒng)的NoSQL集群由具有SATA硬盤驅(qū)動(dòng)器的多個(gè)本地硬盤驅(qū)動(dòng)器接口的服務(wù)器組成。硬盤驅(qū)動(dòng)器提供了一種存儲(chǔ)數(shù)PB數(shù)據(jù)的經(jīng)濟(jì)方法，但實(shí)現(xiàn)最大帶寬通常需要每臺(tái)服務(wù)器數(shù)十個(gè)SATA或SAS硬盤驅(qū)動(dòng)器。這種架構(gòu)顯然增加了單個(gè)服務(wù)器的規(guī)模，并迅速填充了CPU主要處于空閑狀態(tài)的服務(wù)器的數(shù)據(jù)中心機(jī)架。

單個(gè)NVMe接口可以提供許多單獨(dú)SATA或SAS接口的帶寬，同時(shí)只需要采用附加存儲(chǔ)卡或2.5英寸硬盤驅(qū)動(dòng)器。而采用體積更小的NVMe SSD硬盤替換單個(gè)NoSQL服務(wù)器的大型硬盤驅(qū)動(dòng)器陣列，可以減少NoSQL節(jié)點(diǎn)，并減少總集群機(jī)架空間。

|| NVMe可實(shí)現(xiàn)更加智能的數(shù)據(jù)準(zhǔn)備

擁有TB或PB的數(shù)據(jù)是人工智能訓(xùn)練的必要先決條件，但這些數(shù)據(jù)很少以易于使用的格式存在。需要將數(shù)據(jù)轉(zhuǎn)換為人工智能管道可以更容易處理的格式。必須濾除異常值和雜散數(shù)據(jù)，可能不合適甚至非法的部分?jǐn)?shù)據(jù)(例如受保護(hù)的個(gè)人信息)也可能需要在此階段進(jìn)行過濾。

這種處理需求可能會(huì)讓不是為高吞吐量而設(shè)計(jì)的存儲(chǔ)系統(tǒng)不堪重負(fù)。與NVMe的基于PCIe的高達(dá)6.4GB/s或更高的帶寬相比，SAS和SATA的每個(gè)接口帶寬有限。在準(zhǔn)備階段，帶寬并不是存儲(chǔ)系統(tǒng)的唯一要求：并行性也很重要。由于正在處理的數(shù)據(jù)量非常大，因此該處理階段跨群集中的多個(gè)服務(wù)器，并跨單個(gè)服務(wù)器中的多個(gè)核心并行運(yùn)行。NVMe支持最多64K命令隊(duì)列和64K命令，簡(jiǎn)化了這些服務(wù)器內(nèi)的并行操作。

|| NVMe用于智能模型設(shè)計(jì)

一旦數(shù)據(jù)干凈且具有統(tǒng)一、易于轉(zhuǎn)化的格式，數(shù)據(jù)科學(xué)家的真正工作就可以開始了。每個(gè)問題都不同，因此科學(xué)家們通常必須迭代地開發(fā)一種獨(dú)特的機(jī)器學(xué)習(xí)結(jié)構(gòu)。只有在對(duì)較小的數(shù)據(jù)子集進(jìn)行大量試驗(yàn)之后，候選訓(xùn)練模型才會(huì)進(jìn)入下一個(gè)處理階段。與所有科學(xué)和工程項(xiàng)目一樣，許多錯(cuò)誤開始之前可能先于最終結(jié)果，這通常意味著需要多次嘗試。

在這個(gè)反復(fù)試驗(yàn)的過程中，單個(gè)循環(huán)的速度會(huì)對(duì)最終的模型設(shè)計(jì)和最終的機(jī)器學(xué)習(xí)模型的質(zhì)量產(chǎn)生外部影響。將設(shè)計(jì)和測(cè)試周期時(shí)間從10小時(shí)縮短到8小時(shí)可以使數(shù)據(jù)科學(xué)家將有效速率提高一倍?？茖W(xué)家們可以在第一天設(shè)計(jì)和運(yùn)行測(cè)試，獲得結(jié)果并及時(shí)調(diào)整參數(shù)，而直到第二天才看到結(jié)果，這樣可以實(shí)現(xiàn)每天測(cè)試一次。

正如與之前幾個(gè)階段一樣，NVMe的帶寬和并行性可以發(fā)揮作用，有助于提高數(shù)據(jù)科學(xué)家的效率。他們?cè)趥€(gè)人工作站或在私有沙箱中測(cè)試他們的模型，可以利用NVMe的低延遲操作系統(tǒng)和測(cè)試數(shù)據(jù)集，以及為分析和測(cè)試運(yùn)行提供最快的空間。

|| NVMe智能模型訓(xùn)練

一旦數(shù)據(jù)工程師將數(shù)據(jù)轉(zhuǎn)換為機(jī)器學(xué)習(xí)友好格式，并且數(shù)據(jù)科學(xué)家設(shè)計(jì)了學(xué)習(xí)模型結(jié)構(gòu)，就開始訓(xùn)練網(wǎng)絡(luò)。配備加速器的數(shù)百或數(shù)千臺(tái)機(jī)器采用格式化數(shù)據(jù)，并使用它來優(yōu)化模型參數(shù)，直到它們整合到真實(shí)應(yīng)用程序可用于推理的模型上。

基于GPU的原有加速技術(shù)很少受到I/O限制，因此存儲(chǔ)性能很少受到關(guān)注。運(yùn)行服務(wù)器的通用CPU有足夠的時(shí)間來處理I/O操作，并為GPU準(zhǔn)備好下一批數(shù)據(jù)。然而，這已不再適用于FPGA，甚至是定制ASIC實(shí)施模型訓(xùn)練。

由于機(jī)器學(xué)習(xí)加速器可以比現(xiàn)有技術(shù)更快地處理大量的數(shù)據(jù)，因此運(yùn)行服務(wù)器的通用CPU需要有效地處理I/O數(shù)量級(jí)模式。傳統(tǒng)的I/O堆棧(如SATA和SAS)浪費(fèi)了寶貴的CPU周期，將I/O請(qǐng)求轉(zhuǎn)換為上個(gè)世紀(jì)設(shè)計(jì)的協(xié)議。這樣做會(huì)增加I/O請(qǐng)求延遲，這會(huì)直接降低加速器利用率。這些傳統(tǒng)的I/O堆棧也會(huì)增加主機(jī)CPU負(fù)載，可能會(huì)限制每個(gè)處理器可以運(yùn)行的加速器數(shù)量。

因?yàn)镹VMe從一開始就被設(shè)計(jì)為內(nèi)存速度存儲(chǔ)協(xié)議，所以NVMe不會(huì)產(chǎn)生這些協(xié)議轉(zhuǎn)換開銷。因此，它最大限度地減少了處理器負(fù)載，并有助于確保及時(shí)將數(shù)據(jù)饋送到這些下一代加速器。目前正在審查的NVMe協(xié)議(控制器內(nèi)存緩沖區(qū)，CMB)的令人興奮的擴(kuò)展，可以通過允許NVMe設(shè)備在沒有主機(jī)干預(yù)的情況下處理這些直接內(nèi)存?zhèn)鬏?，進(jìn)一步減少這種負(fù)載。

|| 人工智能的NVMe更加智能

機(jī)器學(xué)習(xí)和人工智能是圍繞數(shù)據(jù)構(gòu)建的。而收集這些數(shù)據(jù)，將其處理成可用的格式，探索學(xué)習(xí)架構(gòu)，并最終訓(xùn)練模型需要一個(gè)存儲(chǔ)接口，該接口可以在PB級(jí)存儲(chǔ)有效，并針對(duì)微秒延遲進(jìn)行優(yōu)化。NVMe是一種專為內(nèi)存速度存儲(chǔ)而設(shè)計(jì)的技術(shù)，可以為機(jī)器學(xué)習(xí)和許多其他任務(wù)提供這樣的界面。