人工智能（AI）最初只是實(shí)驗(yàn)室研究，但如今機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等人工智能技術(shù)正越來(lái)越多地應(yīng)用到現(xiàn)實(shí)世界中，例如檢測(cè)金融交易中的欺詐行為、分析零售數(shù)據(jù)以提供個(gè)性化的購(gòu)物體驗(yàn)，或者找到運(yùn)輸工具的最佳路線。

這些趨勢(shì)意味著人工智能正迅速成為許多企業(yè)工作流程中不可或缺的一部分，從電子郵件到CRM或ERP，尤其是數(shù)據(jù)分析，從組織自身的數(shù)據(jù)集中收集商業(yè)智能見(jiàn)解，以提高效率，甚至創(chuàng)造新的商業(yè)機(jī)會(huì)。

這并不奇怪，IDC最近的一項(xiàng)調(diào)查顯示，85%的企業(yè)正在評(píng)估人工智能或已經(jīng)在生產(chǎn)中使用人工智能。然而，IDC發(fā)現(xiàn)，大多數(shù)組織報(bào)告說(shuō)，在他們的人工智能項(xiàng)目中，有四分之一的機(jī)構(gòu)報(bào)告說(shuō)，失敗率高達(dá)50%。這些失敗都?xì)w因于缺乏熟練員工或文化上的挑戰(zhàn)，但另一個(gè)常見(jiàn)的失敗原因是無(wú)法從概念驗(yàn)證項(xiàng)目擴(kuò)展到能夠服務(wù)于整個(gè)組織的生產(chǎn)能力。

退一步講，重要的是要區(qū)分那些投資于人工智能以獲得顯著的戰(zhàn)略優(yōu)勢(shì)或可能重塑其整個(gè)商業(yè)模式的組織，而不是那些僅僅尋求簡(jiǎn)化運(yùn)營(yíng)或使用人工智能來(lái)自動(dòng)化某些任務(wù)的組織。對(duì)于后者，基于云的AI功能生態(tài)系統(tǒng)已經(jīng)興起，可以通過(guò)API進(jìn)行訪問(wèn)并將其集成到業(yè)務(wù)工作流程中。

另一類公司則以電子商務(wù)巨頭阿里巴巴（Alibaba）分拆出來(lái)的一家銀行為例，該銀行使用人工智能來(lái)管理其所有金融服務(wù)，在貸款審批等流程方面，它的速度比競(jìng)爭(zhēng)對(duì)手快得多，而且員工人數(shù)只占其一小部分。正如《哈佛商業(yè)評(píng)論》（Harvard Business Review）所詳述的，這家新銀行的核心是一個(gè)基于人工智能的“決策工廠”，它將決策視為一門(mén)科學(xué)，利用數(shù)據(jù)來(lái)推動(dòng)預(yù)測(cè)和洞察，從而指導(dǎo)和自動(dòng)化公司的運(yùn)營(yíng)工作流程。

對(duì)于這類業(yè)務(wù)，實(shí)施你的人工智能戰(zhàn)略首先要有正確的數(shù)據(jù)，并且要理解如何使用它。這意味著不僅要雇傭數(shù)據(jù)科學(xué)家，還要雇傭數(shù)據(jù)戰(zhàn)略家，他們是能夠?qū)I(yè)務(wù)問(wèn)題轉(zhuǎn)化為分析解決方案和見(jiàn)解的專業(yè)人士。

人工智能是建立在數(shù)據(jù)基礎(chǔ)上的

大量的數(shù)據(jù)是開(kāi)發(fā)機(jī)器學(xué)習(xí)（ML）或深度學(xué)習(xí)（DL）算法的最終根本。您在模型上投入的樣本數(shù)據(jù)越多，就可以將模型“訓(xùn)練”得越好，并且其輸出越準(zhǔn)確可靠。結(jié)果是，與傳統(tǒng)的企業(yè)IT環(huán)境相比，為AI項(xiàng)目存儲(chǔ)和處理數(shù)據(jù)通常需要與高性能計(jì)算（HPC）安裝有更多共同點(diǎn)的硬件。

訓(xùn)練一個(gè)深度學(xué)習(xí)模型或分析大量數(shù)據(jù)需要大量的處理能力。這可以通過(guò)使用一堆服務(wù)器和高端處理器芯片并行處理問(wèn)題來(lái)實(shí)現(xiàn)。但更有效的解決方案是求助于專門(mén)的加速器，如GPU，或圖形處理單元。

GPU之所以得名，是因?yàn)樗鼈冏畛跏?D圖形的加速器，需要數(shù)百萬(wàn)次重復(fù)計(jì)算才能渲染圖像。因此，它們具有使用數(shù)百個(gè)簡(jiǎn)單處理核心的大規(guī)模并行體系結(jié)構(gòu)，事實(shí)證明，它們也適用于AI模型所涉及的計(jì)算。

例如，谷歌發(fā)現(xiàn)一個(gè)僅用于48個(gè)Nvidia GPU即可處理用于在線圖像識(shí)別的AI系統(tǒng)，該系統(tǒng)需要16，000個(gè)CPU。

這并不意味著GPU會(huì)完全取代用于AI工作負(fù)載的計(jì)算基礎(chǔ)架構(gòu)中的CPU。在許多情況下，仍然需要CPU來(lái)處理應(yīng)用程序邏輯和其他數(shù)據(jù)科學(xué)計(jì)算，因此在大多數(shù)情況下，結(jié)合使用CPU和GPU的計(jì)算節(jié)點(diǎn)將被證明是最佳解決方案。

存儲(chǔ)源計(jì)算

與傳統(tǒng)的HPC體系結(jié)構(gòu)一樣，獲得最佳性能的關(guān)鍵是保持計(jì)算節(jié)點(diǎn)及其gpu以足夠高的速率接收數(shù)據(jù)，以使它們保持忙碌，這意味著存儲(chǔ)基礎(chǔ)結(jié)構(gòu)在提供所需的性能級(jí)別方面起著至關(guān)重要的作用。正確的數(shù)據(jù)存儲(chǔ)系統(tǒng)必須提供高吞吐量，以防止昂貴的gpu閑置，但它也必須具有靈活性和可擴(kuò)展性。

更復(fù)雜的是，不同的AI工作負(fù)載將以讀寫(xiě)數(shù)據(jù)的方式顯示不同的訪問(wèn)模式，存儲(chǔ)層需要能夠處理所有這些模式。ML訓(xùn)練工作負(fù)載往往遵循一種不可預(yù)測(cè)的訪問(wèn)模式，例如，生成大量的讀寫(xiě)操作，這些讀寫(xiě)操作可能包括大小不等的隨機(jī)訪問(wèn)和順序訪問(wèn)，存儲(chǔ)層必須能夠吸收這些數(shù)據(jù)并提供高吞吐量。

當(dāng)訓(xùn)練數(shù)據(jù)集足夠小時(shí)，例如在試驗(yàn)性部署中，它可能被緩存在本地內(nèi)存中，或者從小型計(jì)算節(jié)點(diǎn)群集中的本地閃存驅(qū)動(dòng)器（SSD）中提供服務(wù)，這可以提供足夠的性能級(jí)別，特別是當(dāng)閃存SSD是NVMe驅(qū)動(dòng)器時(shí)。

NVMe是一種存儲(chǔ)標(biāo)準(zhǔn)，它使用高速PCIe總線將SSD直接鏈接到系統(tǒng)中的處理器，而不是傳統(tǒng)接口（如SAS或SATA）。它還指定了一種新的高效協(xié)議，可以減少軟件開(kāi)銷，從而最大限度地提高閃存提供的低延遲。NVMe的一個(gè)關(guān)鍵特性是支持多個(gè)I/O隊(duì)列（最多65535個(gè)），從而使閃存能夠并行處理多個(gè)請(qǐng)求。這利用了NAND存儲(chǔ)設(shè)備的內(nèi)部并行性，并允許比SAS或SATA高得多的原始吞吐量。

然而，擴(kuò)展這樣一個(gè)試驗(yàn)性部署來(lái)支持生產(chǎn)性人工智能用例所需的大量數(shù)據(jù)是困難的和/或昂貴的，這可能是一些人工智能項(xiàng)目無(wú)法超越概念驗(yàn)證階段的原因。

成本也是一個(gè)因素。許多全閃存存儲(chǔ)體系結(jié)構(gòu)都依賴于單獨(dú)的對(duì)象存儲(chǔ)池或類似的存儲(chǔ)池來(lái)保存訪問(wèn)頻率較低的冷數(shù)據(jù)。相比之下，存儲(chǔ)公司DDN有一個(gè)名為熱池的功能，用戶可以通過(guò)在用于熱數(shù)據(jù)的閃存層和用于冷數(shù)據(jù)的更大的旋轉(zhuǎn)磁盤(pán)層之間自動(dòng)遷移數(shù)據(jù)，將所有內(nèi)容保存在一個(gè)文件系統(tǒng)中。這降低了由于管理開(kāi)銷而導(dǎo)致的成本，同時(shí)使所有數(shù)據(jù)更接近你的手邊。

加速任意規(guī)模的AI

這方面的一個(gè)很好的例子可以從DDN的加速、任意規(guī)模的AI（A3I）投資組合中看到，DDN是一家專門(mén)從事高性能存儲(chǔ)的公司。A3I系列是一套基于DDN EXAScaler系統(tǒng)的預(yù)配置設(shè)備，可選擇所有閃存NVMe SSD或閃存與硬盤(pán)驅(qū)動(dòng)器存儲(chǔ)的混合，以提高存儲(chǔ)容量。

為了擴(kuò)大規(guī)模，客戶只需添加額外的設(shè)備，每個(gè)AI200X/AI400X設(shè)備的閃存NVMe容量高達(dá)256TB，或AI7990X型號(hào)的混合存儲(chǔ)容量為4PB。每個(gè)文件系統(tǒng)都可以看作是一個(gè)構(gòu)建塊，可以聚合成一個(gè)可以在容量、性能和功能上進(jìn)行擴(kuò)展的文件系統(tǒng)。

根據(jù)DDN，A3I設(shè)備針對(duì)所有類型的訪問(wèn)模式和數(shù)據(jù)布局進(jìn)行了優(yōu)化，以確保GPU資源的充分利用。每個(gè)設(shè)備還具有多個(gè)高速主機(jī)接口，最多有8個(gè)HDR100 InfiniBand或100Gbit/s以太網(wǎng)端口。

AI基礎(chǔ)設(shè)施認(rèn)證

認(rèn)識(shí)到這一點(diǎn)，領(lǐng)先的GPU供應(yīng)商N(yùn)vidia在其參考架構(gòu)中將DDNA3I存儲(chǔ)與DGX A100系統(tǒng)結(jié)合在一起，DGX A100系統(tǒng)是一個(gè)專用的AI計(jì)算系統(tǒng)，其中包含八個(gè)最新的A100 Tensor Core GPU和一對(duì)AMD Epyc CPU。DGX A100系統(tǒng)的架構(gòu)被設(shè)計(jì)為適用于所有AI工作負(fù)載的通用系統(tǒng)，可消耗高達(dá)192GB / s的大量數(shù)據(jù)。但是，四個(gè)并行工作的DDN AI400X存儲(chǔ)設(shè)備能夠使所有這些GPU完全存滿數(shù)據(jù)。

雖然DGX A100是相當(dāng)新的產(chǎn)品，但是客戶已經(jīng)在AI應(yīng)用程序中將DDN存儲(chǔ)與Nvidia的舊DGX-1平臺(tái)一起使用。日本東北大學(xué)醫(yī)學(xué)大銀行組織（ToMMo）已實(shí)現(xiàn)DDN EXAScaler存儲(chǔ)，該存儲(chǔ)連接到運(yùn)行Parabricks基因組分析軟件的基于DGX-1 GPU的分析服務(wù)器，作為其醫(yī)療超級(jí)計(jì)算機(jī)系統(tǒng)的一部分。

據(jù)該大學(xué)稱，這極大地提高了其分析能力和樣品量。因?yàn)橛捎谀軌蛱幚砀蟮臄?shù)據(jù)集，所以以前只存在于理論上的方法現(xiàn)在變得可行，從而提高了數(shù)據(jù)分析的準(zhǔn)確性。

不過(guò)教訓(xùn)是，要使用A來(lái)I轉(zhuǎn)變業(yè)務(wù)運(yùn)營(yíng)，組織需要能夠處理大量數(shù)據(jù)。這反過(guò)來(lái)又意味著要建立一個(gè)能夠處理這些數(shù)據(jù)量的基礎(chǔ)設(shè)施，以及在不破壞銀行資金的情況下擴(kuò)大對(duì)數(shù)據(jù)和計(jì)算資源的訪問(wèn)的方法，以支持未來(lái)的增長(zhǎng)。

希望通過(guò)采用全面的數(shù)據(jù)戰(zhàn)略來(lái)領(lǐng)先于競(jìng)爭(zhēng)對(duì)手的公司需要確保自己不會(huì)在基礎(chǔ)架構(gòu)方面承擔(dān)額外風(fēng)險(xiǎn)。選擇一家在要求最苛刻的數(shù)據(jù)密集型的環(huán)境中提供一系列解決方案方面具有豐富經(jīng)驗(yàn)的存儲(chǔ)供應(yīng)商是一個(gè)明智的起點(diǎn)。
責(zé)任編輯:tzh