本文的主要內(nèi)容：

邊緣計算為實時數(shù)據(jù)分析和建模提供了新的機會。

但是，物聯(lián)網(wǎng)邊緣數(shù)據(jù)模型需要較少的整體方法來進行數(shù)據(jù)湖和建模。

數(shù)據(jù)分析師需要新的技能，以便能夠在邊緣和云中正確分類/提取和管理這些數(shù)據(jù)。

企業(yè)渴望使用物聯(lián)網(wǎng)數(shù)據(jù)來了解成本、運營及其未來前景。

移動設(shè)備和物聯(lián)網(wǎng)設(shè)備（IoT）生成的數(shù)據(jù)使組織能夠降低成本，提高運營效率并進行創(chuàng)新。但是，只有組織可以在適當?shù)臅r候從數(shù)據(jù)中獲取意義。

反過來，為數(shù)據(jù)提供含義和背景將使數(shù)據(jù)分析人員負責構(gòu)建可以傳遞有意義的數(shù)據(jù)模型。此外，這些數(shù)據(jù)量很大，并且來自許多不同的位置，而且速度極快。

除了諸如數(shù)據(jù)湖之類的整體數(shù)據(jù)存儲之外，數(shù)據(jù)分析師還應(yīng)設(shè)計邊緣數(shù)據(jù)存儲，以提高速度和實時洞察力，從而為每個業(yè)務(wù)部門和目的解決眾多問題。

Zhamak Dehghani在一篇關(guān)于從集中式數(shù)據(jù)湖中獲取實時數(shù)據(jù)的文章中寫道：“不是將數(shù)據(jù)從域流到中央擁有的數(shù)據(jù)湖或平臺，而是需要以一種易于使用的方式托管和服務(wù)其域數(shù)據(jù)集?！?/p>

在邊緣上尤其如此，即使設(shè)備數(shù)量激增，計算處理資源也可能非常寶貴。通過邊緣計算，數(shù)據(jù)算法可以在本地服務(wù)器或網(wǎng)關(guān)上甚至在設(shè)備本身上運行，從而實現(xiàn)對企業(yè)至關(guān)重要的更高效的實時應(yīng)用。

機器學習平臺Splunk的創(chuàng)新和數(shù)字生態(tài)系統(tǒng)高級主管Lerry Wilson說：“邊緣將計算能力放在行動發(fā)生的地方?！?/p>

國際數(shù)據(jù)公司（IDC）的一項新預(yù)測估計，到2025年，將有416億個IoT設(shè)備或“物”產(chǎn)生79.4 ZB的數(shù)據(jù)。這些數(shù)據(jù)還需要從無數(shù)的設(shè)備和業(yè)務(wù)部門獲取，通常是孤立的和格式不同，這會增加額外的復(fù)雜性。

Wilson說：“這些組織內(nèi)部的復(fù)雜性已經(jīng)超出了僅保持這些設(shè)備正常運行的能力。” “您必須能夠看到設(shè)備如何與設(shè)備交互。 “從安全的角度來看，這絕對至關(guān)重要，但從運營和業(yè)務(wù)角度來看也是如此。”

數(shù)據(jù)量和速度

從業(yè)人員強調(diào)，要有效地將邊緣計算用于快速數(shù)據(jù)處理，就需要采用不同的方法來進行數(shù)據(jù)建模和提取。數(shù)據(jù)分析人員需要考慮如何使用數(shù)據(jù)以及可以容許多少延遲以及其安全性和存儲要求。

這將需要一種混合的方式來處理數(shù)據(jù)，并需要新的邊緣數(shù)據(jù)模型來支持速度，而不是總體的整體數(shù)據(jù)模型。

Peak Technologies的首席工程師Dan Sullivan說：“從數(shù)十萬個傳感器中獲取原始數(shù)據(jù)，然后在其中進行最少的處理，然后將其余數(shù)據(jù)發(fā)送到一個集中的位置-這種方法將變得越來越流行。”

因此，例如，如果物聯(lián)網(wǎng)數(shù)據(jù)可用于檢測關(guān)鍵業(yè)務(wù)異常，則可能需要立即處理該數(shù)據(jù)。但是，隨著時間的推移，環(huán)境數(shù)據(jù)可能并不重要，可以發(fā)送到云或本地數(shù)據(jù)中心進行進一步處理。

同時，盡管決策者希望這些數(shù)據(jù)隨時可用，但快速的數(shù)據(jù)準備和清理可能會妨礙快速的數(shù)據(jù)處理。

實際上，根據(jù)TMMData和Digital Analytics Association（數(shù)字分析協(xié)會）進行的一項調(diào)查，近40％的數(shù)據(jù)專業(yè)人員每周花費20多個小時來訪問、混合和準備數(shù)據(jù)，而不是進行實際分析。

物聯(lián)網(wǎng)數(shù)據(jù)仍然需要進行這種準備，但分析人士表示，現(xiàn)在最好嘗試先創(chuàng)建較少的整體模型，而這些模型需要大量的邏輯數(shù)據(jù)連接。目標是快速攝取數(shù)據(jù)，然后以目標方式查詢數(shù)據(jù)。

“除了找出一個復(fù)雜的解決方案，我們還有兩個簡單的解決方案-而不是一個整體解決方案。當問題完全不同時，您不會嘗試使用一種數(shù)據(jù)模型來回答所有問題。由于數(shù)據(jù)太多，您希望快速定位數(shù)據(jù)的子集。”

Sullivan指出，某些數(shù)據(jù)也可能會發(fā)送到云中以進行機器學習和算法訓(xùn)練。這些數(shù)據(jù)可能不需要這么低的延遲或快速的周轉(zhuǎn)時間。

“從機器學習的角度來看，原始數(shù)據(jù)很重要，” Sullivan說。 “它沒有像異常檢測數(shù)據(jù)那樣的延遲要求。您可以分類這些數(shù)據(jù)以進行機器學習，然后將其緩慢加載到云對象存儲中。”

這種新的數(shù)據(jù)建模方法呼應(yīng)了有關(guān)IoT數(shù)據(jù)管理的論文，聲稱IoT數(shù)據(jù)模型需要更靈活以適應(yīng)實時數(shù)據(jù)管理和大量數(shù)據(jù)。

“盡管已經(jīng)證明并行關(guān)系［數(shù)據(jù)庫管理系統(tǒng)（DBMS）］優(yōu)于非結(jié)構(gòu)化DBMS范式，但從關(guān)系模型轉(zhuǎn)向支持更靈活的數(shù)據(jù)庫結(jié)構(gòu)的數(shù)據(jù)庫模型正變得越來越受歡迎?！?/p>

物聯(lián)網(wǎng)數(shù)據(jù)管理技能仍然是一個障礙

專家們同意，關(guān)于數(shù)據(jù)去向以及如何最大程度地利用數(shù)據(jù)的這類決策需要獨特的技能。

Rashi Deshai在一篇有關(guān)數(shù)據(jù)科學家的最高技能的文章中寫道：“數(shù)據(jù)科學家是……全才型的大師?！?“他們必須了解數(shù)學、統(tǒng)計學、編程、數(shù)據(jù)管理（和）可視化……80％的工作用于準備數(shù)據(jù)以在行業(yè)環(huán)境中進行處理?！彪S著數(shù)據(jù)量持續(xù)爆炸，數(shù)據(jù)管理已成為數(shù)據(jù)科學家的一項技能。

但是，組織內(nèi)部可能缺少這些技能。他們要么需要通過額外的教育和培訓(xùn)來培養(yǎng)這些技能，要么應(yīng)征募第三方合作伙伴關(guān)系。

Sullivan說：“這種舉動將伴隨著人們。” “只有很少的人了解如何大規(guī)模處理數(shù)據(jù)。在本地進行此操作很昂貴，但需要大量的工程經(jīng)驗。需要能夠編寫數(shù)據(jù)工程管道的人員來從中提取價值。”

正如另一個數(shù)據(jù)管理所指出的那樣，這需要萬事通技能集。

數(shù)據(jù)反映了IT數(shù)據(jù)管理中長期存在的技能短缺。

根據(jù)IoT World Today的2020年8月IoT采用調(diào)查，缺乏內(nèi)部技能會阻礙IoT項目：27％的受訪者表示，他們?nèi)狈I(yè)知識正在阻礙IoT部署。

Splunk的Wilson表示，運營部門和信息技術(shù)部門之間的孤島也是一個障礙，但是OT開始在邊緣看到自動化和機器學習的優(yōu)點。

Wilson說：“人們開始為實時機器學習部署工具和過程。” “他們正在擁抱這個概念，以及為實現(xiàn)這一目標而開展的工作?！?br /> 責任編輯：tzh