在本文中，我們將介紹云計(jì)算環(huán)境中流行的大數(shù)據(jù)框架，并確定這些大數(shù)據(jù)框架的某些屬性，并探討與之相關(guān)的一些最大障礙和問題。本文將按資源管理大數(shù)據(jù)框架的主要屬性進(jìn)行分類，將它們與具有類似性質(zhì)的其他框架進(jìn)行比較，并提出與使用它們相關(guān)的推薦最佳實(shí)踐。

介紹

盡管遷移到云計(jì)算的好處是眾所周知的，但在大數(shù)據(jù)分析的背景下，其好處更為明顯。大數(shù)據(jù)所固有的是使用PB（即將成為EB和ZB）數(shù)據(jù)。業(yè)務(wù)分析要求使用數(shù)據(jù)密集型應(yīng)用程序，而云環(huán)境的可伸縮性對于使它們的部署可行是必不可少的。利用云還可以促進(jìn)整個組織之間更輕松的協(xié)作和連接，簡化數(shù)據(jù)共享并授予更多員工訪問相關(guān)分析的權(quán)限。

IT領(lǐng)導(dǎo)者當(dāng)然認(rèn)識到將大數(shù)據(jù)轉(zhuǎn)移到云中的好處，但是要讓主要利益相關(guān)者和高層管理人員購買該概念會更加復(fù)雜。但是，利用云和大數(shù)據(jù)的組合確實(shí)具有商業(yè)上的實(shí)際意義，因?yàn)樗鼘⒃试S對業(yè)務(wù)進(jìn)行優(yōu)化查看，并將促進(jìn)基于相關(guān)數(shù)據(jù)的決策。

例如，生產(chǎn)實(shí)物產(chǎn)品的公司的首席運(yùn)營官可以極大地受益于訪問有關(guān)供應(yīng)鏈優(yōu)化的數(shù)據(jù)以及跟蹤缺陷的有效機(jī)制。同樣，尋求提高客戶忠誠度和參與度的CMO，以及尋求增加收入，降低成本和進(jìn)行戰(zhàn)略投資的新途徑的CFO，也都依賴數(shù)據(jù)來制定決策。無論從哪個角度來看，基于云的敏捷平臺和大數(shù)據(jù)的利用將驅(qū)動貴公司的運(yùn)營和實(shí)現(xiàn)目標(biāo)。

如2020-2025年大數(shù)據(jù)市場報告所述，全球大數(shù)據(jù)市場規(guī)模將從2020年的1389億美元增加到2025年的2294億美元。

大數(shù)據(jù)和云計(jì)算的歷史

龐大的分析項(xiàng)目高度依賴有效的資源管理，因?yàn)閿?shù)據(jù)平臺利用大量可視化的硬件資源來降低成本并優(yōu)化結(jié)果。架構(gòu)的復(fù)雜性使得這種管理或資源具有挑戰(zhàn)性。因此，應(yīng)認(rèn)真考慮將要處理多少數(shù)據(jù)，并設(shè)計(jì)出既有利于當(dāng)前應(yīng)用，又有利于未來應(yīng)用的最佳性能的體系結(jié)構(gòu)。

直到最近，網(wǎng)格，計(jì)算機(jī)集群和其他高性能超級計(jì)算機(jī)仍被用作高計(jì)算項(xiàng)目的資源。群集計(jì)算是

此類框架的主要環(huán)境。網(wǎng)格計(jì)算環(huán)境（或其他分布式HPC環(huán)境）中的虛擬組織管理專用于應(yīng)用程序需求的資源（外部和內(nèi)部），盡管近年來有關(guān)將此執(zhí)行轉(zhuǎn)移到云的討論一直是討論的熱門話題。出于安全原因，吸引本地存儲敏感數(shù)據(jù)不足為奇，但是當(dāng)存儲量變得無法內(nèi)部存儲（例如企業(yè)中的數(shù)據(jù)）時，組織發(fā)現(xiàn)必須遷移到云存儲解決方案。

盡管云計(jì)算可能是增長大數(shù)據(jù)的核心，但是針對大數(shù)據(jù)應(yīng)用程序的基于云的解決方案與常見的解決方案有很大不同。傳統(tǒng)的云解決方案提供了一些松散相關(guān)的應(yīng)用程序，其細(xì)粒度的體系結(jié)構(gòu)旨在為大量用戶提供服務(wù)。這些用戶通常在不同的位置獨(dú)立運(yùn)行，并且通常擁有非共享或私有數(shù)據(jù)。該數(shù)據(jù)可能主要是面向批處理的，并且包含許多交互。通常會對其進(jìn)行重新定位，以適應(yīng)高度動態(tài)的資源需求。話雖如此，大數(shù)據(jù)與常規(guī)擴(kuò)展解決方案共享一些共同的屬性，以及對資源自動管理的要求。

云計(jì)算企業(yè)的成長和成熟正在完善和改善云環(huán)境，以使其更加敏捷和高效。云提供商也在擴(kuò)展其服務(wù)，其中通常包括數(shù)據(jù)湖架構(gòu)。該平臺提供了增強(qiáng)的生產(chǎn)力套件，可用于BI，云操作，數(shù)據(jù)庫，OLAP，數(shù)據(jù)倉庫和其他開發(fā)工具。

大數(shù)據(jù)云計(jì)算中的資源管理框架

已經(jīng)在不同的應(yīng)用領(lǐng)域中使用了各種計(jì)算基礎(chǔ)結(jié)構(gòu)，以利用商品計(jì)算資產(chǎn)以批處理模式處理大型數(shù)據(jù)庫。在這里，我們旨在探索云計(jì)算環(huán)境中使用的一些流行的大數(shù)據(jù)資源管理框架。下圖有助于直觀地繪制出大數(shù)據(jù)管理結(jié)構(gòu)樣式的分類。

比較大數(shù)據(jù)框架

當(dāng)代企業(yè)，研究社區(qū)和IT行業(yè)都在感受到大數(shù)據(jù)云計(jì)算的影響，涌現(xiàn)出一些變革性和顛覆性的大數(shù)據(jù)解決方案和技術(shù)，以促進(jìn)許多企業(yè)的創(chuàng)新和數(shù)據(jù)驅(qū)動的運(yùn)營決策?，F(xiàn)代數(shù)據(jù)云計(jì)算服務(wù)提供了基礎(chǔ)架構(gòu)，技術(shù)和大數(shù)據(jù)分析，可幫助加快大數(shù)據(jù)分析的步伐并降低其成本。

盡管有許多選項(xiàng)可用，但關(guān)鍵在于選擇最適合特定業(yè)務(wù)的框架。這種選擇往往會歸結(jié)為應(yīng)用需求，并權(quán)衡每種情況的優(yōu)點(diǎn)和缺點(diǎn)。其中許多是基于應(yīng)用程序使用場景的，并且可能涉及一些折衷。在云中部署大數(shù)據(jù)應(yīng)用程序之前，需要確定幾個關(guān)鍵因素?，F(xiàn)在，我們將討論選擇每種主要管理框架類型的利弊。

1.處理速度

在評估不同資源管理結(jié)構(gòu)的功效時，處理速度是一項(xiàng)重要的性能衡量工具，它基于對內(nèi)存或磁盤的數(shù)據(jù)傳輸讀寫（I / O）的便利性。它還測量特定時間段內(nèi)兩個通信單元之間的數(shù)據(jù)傳輸速率。有理由認(rèn)為某些資源管理框架會表現(xiàn)更好。但是，研究發(fā)現(xiàn)，盡管某些框架在執(zhí)行較小的任務(wù)時表現(xiàn)出更好的性能，但其他框架在處理更大的數(shù)據(jù)源集時卻要快得多。但是，隨著數(shù)據(jù)集輸入的增加，所有框架的“加速”比率都降低了。

2.容錯

測量一個組件發(fā)生故障時系統(tǒng)的其余部分如何繼續(xù)運(yùn)行稱為容錯。在高性能計(jì)算系統(tǒng)中執(zhí)行特定任務(wù)時，將評估數(shù)百個錯綜復(fù)雜的互連節(jié)點(diǎn)。一個導(dǎo)致失敗的結(jié)果應(yīng)該對整個計(jì)算的影響很小或沒有影響。一些框架比其他框架具有更高的容錯能力，其中某些框架在涉及大量數(shù)據(jù)傳輸?shù)那闆r下會超出容錯范圍。使用PageRank算法進(jìn)行的研究已用于對多種框架的性能進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)在較小的數(shù)據(jù)集中，性能可以很好地衡量，但是隨著數(shù)據(jù)集的增長，“加速”性能下降。某些數(shù)據(jù)集可能變得如此之大，以至于某些系統(tǒng)無法處理它們而不會崩潰。

3.可擴(kuò)展性

企業(yè)依靠及時處理數(shù)據(jù)來解決高價值業(yè)務(wù)問題。通過能夠同時大規(guī)模執(zhí)行多個計(jì)算，可以減少與業(yè)務(wù)相關(guān)的計(jì)算的工作量，總體時間和復(fù)雜性。通過在運(yùn)行時分配額外的資源來適應(yīng)大負(fù)載或工作量（或大?。┳兓那闆r稱為可伸縮性?？缮炜s性可用于增加所需的資源（按比例放大）或減少所需的資源（按比例縮小）。因此，可伸縮性涉及將多個條件組合到單個算法中。研究表明，框架也可以在不同級別上產(chǎn)生可伸縮的性能。

4.安全性

大多數(shù)大數(shù)據(jù)應(yīng)用程序都不再使用內(nèi)部數(shù)據(jù)存儲，而是選擇遷移到云環(huán)境中，使不同的用戶可以訪問或記錄相同的隱私，從而輕松獲得信息。數(shù)據(jù)完整性和安全性一直是最重要的，但是隨著大數(shù)據(jù)平臺廣泛采用云計(jì)算服務(wù)，這一方面會進(jìn)一步擴(kuò)大。由于暴露給出于自身原因而尋求數(shù)據(jù)的多個用戶，這反過來又增加了數(shù)據(jù)所面臨的隱私和安全性的風(fēng)險級別。

安全性分為幾類，每一種都需要通過各種級別的加密對身份驗(yàn)證和授權(quán)進(jìn)行不同級別的訪問。某些框架在其訪問示意圖中使用加密機(jī)制，而其他框架則允許對其訪問和加密進(jìn)行密碼控制。盡管如此，其他人仍未提供任何系統(tǒng)級內(nèi)置安全性。

結(jié)論

在速度和數(shù)據(jù)量方面的增長速度可能是驚人的，特別是對于年輕的組織。但是，利用云計(jì)算可以從根本上改變?nèi)魏芜\(yùn)營的效率和數(shù)據(jù)驅(qū)動的組織。

您的組織是否已將大數(shù)據(jù)遷移到云？我們很想聽聽此舉如何影響您的數(shù)據(jù)分析質(zhì)量和速度。請與我們分享這如何幫助您改善組織運(yùn)作。
責(zé)任編輯人：CC