企業(yè)的數(shù)據(jù)之痛

企業(yè)的數(shù)據(jù)之痛源?于企業(yè)的數(shù)據(jù)處理能?和數(shù)據(jù)增?速度的不匹配。根據(jù)知名分析機構(gòu)的估算，企業(yè)內(nèi)部有接近四分之三的數(shù)據(jù)處于閑置的狀態(tài)，僅僅只有四分之?的數(shù)據(jù)?于輔助企業(yè)決策。所以當(dāng)談到數(shù)據(jù)之痛的時候，我們發(fā)現(xiàn)數(shù)據(jù)之痛不是企業(yè)缺乏數(shù)據(jù)，?是缺乏“好”數(shù)據(jù) - 和商業(yè)決策和業(yè)務(wù)?動化強相關(guān)的清潔數(shù)據(jù)。

隨著企業(yè)數(shù)字化進程的加速和云計算的普及，企業(yè)數(shù)據(jù)呈現(xiàn)了三?新趨勢。

01

數(shù)據(jù)分布呈現(xiàn)多元的趨勢。隨著?態(tài)系統(tǒng)的發(fā)展，數(shù)據(jù)孤島問題會?益加劇。

02

數(shù)據(jù)量將持續(xù)增?。分析機構(gòu)預(yù)測顯示，在未來 3年內(nèi)企業(yè)的數(shù)據(jù)將增? 6倍。

03

數(shù)據(jù)保質(zhì)期的縮短。數(shù)據(jù)如果不被快速使?，很快就會失去意義。

從上述趨勢可以看出，企業(yè)如果仍然通過??的?式進?數(shù)據(jù)遷移和集中，耗時多代價?，?法發(fā)揮數(shù)據(jù)的效?和價值。?如，由于數(shù)據(jù)的陳舊，?產(chǎn)側(cè)的計劃和庫存與銷售脫鉤，造成了滯銷，給企業(yè)帶來巨?損失。再?如，產(chǎn)品設(shè)計和?戶習(xí)慣不符，產(chǎn)品逐漸被競爭對?取代，市場份額進?步萎縮。甚?某些情況下，企業(yè)還要承擔(dān)?定程度的法律?險，例如，通過局部數(shù)據(jù)訓(xùn)練出來的模型，可能對某?類型的?總是產(chǎn)?負?的判斷，這樣公平性問題可能招致訴訟?？偟膩碚f，企業(yè)如果不提升數(shù)據(jù)處理的能?解決數(shù)據(jù)浪費的問題，企業(yè)的未來發(fā)展是令?憂慮的。

企業(yè)要解決數(shù)據(jù)處理的速度，往往在兩個?案間搖擺。我們稱為“數(shù)據(jù)連接”和“數(shù)據(jù)集中”的困境。

?個?案是將數(shù)據(jù)孤島進?全連接，每個數(shù)據(jù)集都和其他數(shù)據(jù)集相連。?家可以想象，在這種模式下，每增加?個新的數(shù)據(jù)源的時候，復(fù)雜度都會成倍的增?。在應(yīng)?創(chuàng)新和混合多云的趨勢下，全連接的代價?常?昂。同時，數(shù)據(jù)安全性也存在問題。?前的數(shù)據(jù)訪問控制是由各個數(shù)據(jù)源單獨進?的，當(dāng)全連接之后數(shù)據(jù)訪問的規(guī)則可能會被破壞，數(shù)據(jù)泄露將成為企業(yè)的隱患。

另?個?案就是進?數(shù)據(jù)?集中。雖然這解決了點對點?法的規(guī)模增?的問題，但它帶來了額外的成本和復(fù)雜度。?如，隨著時間的推移，復(fù)制、存儲和同步數(shù)據(jù)的時間成本和技術(shù)成本成?例增加，很快就變得混亂不堪?法管理。同時，數(shù)據(jù)集中也不能解決數(shù)據(jù)保護問題，區(qū)域性的數(shù)據(jù)規(guī)則是不允許??的數(shù)據(jù)在限定區(qū)域之外進?匯總的。

最后，“數(shù)據(jù)上云”也加劇了這個困境，?論是連接還是整合，都需要?量的數(shù)據(jù)提取，?公有云供應(yīng)商對于數(shù)據(jù)提取都是進?收費的。從成本考慮，數(shù)據(jù)上云之后是否能夠真正加速企業(yè)的數(shù)據(jù)到業(yè)務(wù)價值的轉(zhuǎn)化，是值得商榷的。

什么是 Data Fabric？

那么，我們?nèi)绾尾拍芙鉀Q這?困境呢？有沒有?種新的技術(shù)，?種靈活的解決?案可以實現(xiàn)下列?標(biāo)呢？

01

消除數(shù)據(jù)孤島，并且輕松擴展，以處理不斷增?的數(shù)據(jù)量。

02

能夠跨越企業(yè)內(nèi)部，混合多云環(huán)境訪問數(shù)據(jù)，集中協(xié)調(diào)企業(yè)內(nèi)部的數(shù)據(jù)流轉(zhuǎn)。

03

可以處理各種數(shù)據(jù)類型，使得 IT 和業(yè)務(wù)保持?致。

04

提供數(shù)據(jù)?主化，賦能業(yè)務(wù)?員。

能夠?qū)崿F(xiàn)上述?標(biāo)的技術(shù)，我們稱之為 Data Fabric。

Data Fabric 不是?個單?的產(chǎn)品，甚?不是?個單?的平臺。準確地說，Data Fabric 是?個新興的數(shù)據(jù)管理理念和現(xiàn)代化的分布式的數(shù)據(jù)架構(gòu)，包括共享數(shù)據(jù)資產(chǎn)、優(yōu)化數(shù)據(jù)管理、整合數(shù)據(jù)流程等等。實施 Data Fabric 也不?定需要替換現(xiàn)有的技術(shù)。Data Fabric 可以將您現(xiàn)在的技術(shù)納?數(shù)據(jù)?態(tài)系統(tǒng)中。

企業(yè)如何實現(xiàn) Data Fabric 呢？IBM 提出了 Data Fabric 的落地實踐。

01

通過虛擬連接數(shù)據(jù)端點和簡化對任何數(shù)據(jù)的訪問模式，幫助減少數(shù)據(jù)拷?的數(shù)量。

02

提供全球?動策略執(zhí)?，以提?數(shù)據(jù)保護和質(zhì)量。

03

利?整合治理和主動元數(shù)據(jù)的增強，實現(xiàn)動態(tài)、智能和?動化的數(shù)據(jù)協(xié)調(diào)。

04

使?知識圖譜，提供?動化的數(shù)據(jù)發(fā)現(xiàn)和語義識別。

在 IBM 實現(xiàn) Data Fabric 的平臺中，包含以下重要的組件。

01

智能化的數(shù)據(jù)?錄 （Auto Cataglog） 發(fā)現(xiàn)、編?、集中不同來源的現(xiàn)有數(shù)據(jù)，創(chuàng)建相關(guān)數(shù)據(jù)的知識圖譜。

02

從新的 SaaS 應(yīng)?中快速加?新數(shù)據(jù)，這些數(shù)據(jù)以開放、敏捷的格式存儲在不同的云數(shù)據(jù)倉庫中，可以通過數(shù)據(jù)?錄進?理解和編?。

03

?動化的數(shù)據(jù)隱私 （Auto Privacy） 為任意位置的數(shù)據(jù)資產(chǎn)創(chuàng)建并執(zhí)?隱私保護和使?控制。

04

虛擬數(shù)據(jù)訪問 （Virtual Data Access） 實現(xiàn)了對數(shù)據(jù)?錄中發(fā)現(xiàn)的分布式數(shù)據(jù)的實時虛擬數(shù)據(jù)訪問，并通過?動數(shù)據(jù)隱私進?隱私控制。

05

?戶通過虛擬數(shù)據(jù)訪問，使?相應(yīng)的 BI ?具訪問實時可信的數(shù)據(jù)。

06

AutoAI 可以消費虛擬數(shù)據(jù)，以加速數(shù)據(jù)科學(xué)的進程。

Data Fabric 不是點對點的連接或單?樞紐式的數(shù)據(jù)收集，?是在不同/混合數(shù)據(jù)源之間“跨越”?個虛擬或邏輯?絡(luò)。第?關(guān)鍵詞是分布式。數(shù)據(jù)?錄是 Data Fabric 的?腦，控制分布式的數(shù)據(jù)源進?參與和協(xié)調(diào)。因為數(shù)據(jù)可以由不同的主責(zé)部?或業(yè)務(wù)部?管理，數(shù)據(jù)?錄可以是分布式的。另外?個關(guān)鍵詞是?動化，Data Fabric 不僅應(yīng)該對數(shù)據(jù)的交付?度?動化，?且對消費者可?的數(shù)據(jù)提供?動化。最后，除了數(shù)據(jù)??提升?動化，?錄本身也必須?度?動化。任何任務(wù)，如數(shù)據(jù)發(fā)現(xiàn)、編?、語義充實和資產(chǎn)映射，都應(yīng)該在最?的?機互動下完成。

Data Fabric 是?痛?還是維?素？

Data Fabric 是為客戶打造“?痛藥”還是“維?素”？讓我們從客戶的?度來審視這項新的技術(shù)。

?先，對于您的技術(shù)團隊來說，與更傳統(tǒng)的數(shù)據(jù)管理架構(gòu)相?，Data Fabric 提供了顯著的流程簡化和成本降低。

Data Fabric 本身是基于?個虛擬化的環(huán)境，這意味著盡管 Data Fabric 的規(guī)模可以很?，但在同?個環(huán)境中管理，并且內(nèi)置的?動化使得數(shù)據(jù)交付過程明顯簡化。?如，由于數(shù)據(jù)版本較少，維護數(shù)據(jù)質(zhì)量標(biāo)準的?作量減少了。?如，合并數(shù)據(jù)管理?具以及減少不需要的數(shù)據(jù)拷?，降低了數(shù)據(jù)設(shè)施和存儲成本。再?如全局的數(shù)據(jù)策略，??節(jié)省了數(shù)據(jù)權(quán)限管理所需要的時間。

對于商業(yè)?戶來說，Data Fabric 可以更快地獲得準確的數(shù)據(jù)，減少與數(shù)據(jù)打交道的時間，并且能夠通過標(biāo)準化的接?將數(shù)據(jù)快速整合到商業(yè)?戶的 BI 分析中。商業(yè)?戶能夠把精?聚焦到數(shù)據(jù)分析，?不是?助地不斷尋找和準備數(shù)據(jù)。同時，可以享受到全?助式數(shù)據(jù)購物體驗，不需要為了等待數(shù)據(jù)浪費時間。同時，全?充分的分析技術(shù)，也提?了分析結(jié)果的合規(guī)性和安全性。

綜上所述，Data Fabric 是客戶的?劑良藥，幫助客戶擺脫?久以來的數(shù)據(jù)痛點。

實施路線圖

Data Fabric 是混合云數(shù)據(jù)環(huán)境中實現(xiàn)?度?動化的數(shù)據(jù)發(fā)現(xiàn)、治理、保護和消費。建? Data Fabric 并不是購買和部署單?的解決?案，它也不是?蹴?就的，?是?個過程。在這個過程?致分為如下?個階段，每個階段中所需組件按序就位。

第?階段

盤點數(shù)據(jù)。明確企業(yè)的重要數(shù)據(jù)源，按照數(shù)據(jù)的類型，存儲位置，數(shù)據(jù)規(guī)模，更新頻率，時效性等等要素，決定數(shù)據(jù)的接??式。

第三階段

治理數(shù)據(jù)。定期檢視數(shù)據(jù)質(zhì)量，管理數(shù)據(jù)隱私，控制數(shù)據(jù)訪問，建?數(shù)據(jù)治理流程和主責(zé)部?，建?數(shù)據(jù)接?，治理和消費的 KPI 以及公告板。

第?階段

編?數(shù)據(jù)。編?數(shù)據(jù)是進?數(shù)據(jù)?服務(wù)的關(guān)鍵步驟，找到和業(yè)務(wù)需求強關(guān)聯(lián)的數(shù)據(jù)才能實際上解決業(yè)務(wù)問題。

第四階段

消費數(shù)據(jù)。通過可視化?具，數(shù)據(jù)科學(xué)開發(fā)平臺進?數(shù)據(jù)消費，衡量數(shù)據(jù)在業(yè)務(wù)流程中的價值，對之前階段的數(shù)據(jù)進?反饋。

責(zé)任編輯：haq