隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)應(yīng)用的快速發(fā)展，數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)趨勢(shì)，一方面數(shù)據(jù)規(guī)模的膨脹導(dǎo)致傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足存儲(chǔ)和查詢的實(shí)時(shí)性要求，另一方面數(shù)據(jù)結(jié)構(gòu)出現(xiàn)多樣化，各種不同類型的數(shù)據(jù)庫(kù)并行交互，數(shù)據(jù)流轉(zhuǎn)和融合處理難度加大，成本上升。

為了滿足企業(yè)數(shù)字化轉(zhuǎn)型的需求，企業(yè)一方面需要在確保安全和隱私的前提下開(kāi)放自身的業(yè)務(wù)數(shù)據(jù)，另一方面需要接入大量的互聯(lián)網(wǎng)、物聯(lián)網(wǎng)數(shù)據(jù)，提升數(shù)據(jù)的代表性和泛化能力，為此需要為數(shù)據(jù)共享和分析規(guī)劃統(tǒng)一的大規(guī)模異構(gòu)數(shù)據(jù)處理平臺(tái)，實(shí)現(xiàn)資源的統(tǒng)一調(diào)度，兼容數(shù)據(jù)格式，實(shí)現(xiàn)存儲(chǔ)和計(jì)算并行，統(tǒng)一用戶開(kāi)發(fā)接口，滿足數(shù)據(jù)流轉(zhuǎn)和融合處理需求，提高業(yè)務(wù)的實(shí)時(shí)性和安全性，快速實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型目標(biāo)。

總的來(lái)說(shuō)，異構(gòu)大數(shù)據(jù)的處理難點(diǎn)主要在于如何滿足以下三點(diǎn)需求：

1.數(shù)據(jù)海量多樣：

現(xiàn)代大數(shù)據(jù)應(yīng)用中，不僅數(shù)據(jù)量大，數(shù)據(jù)類型也紛繁復(fù)雜。一個(gè)企業(yè)擁有眾多不同系統(tǒng)產(chǎn)生的各種異構(gòu)數(shù)據(jù)，這些數(shù)據(jù)需要有統(tǒng)一的存儲(chǔ)手段和索引工具。

大數(shù)據(jù)

2.高效查詢分析：

只有對(duì)數(shù)據(jù)進(jìn)行高效的查詢和分析，才能通過(guò)歷史數(shù)據(jù)了解過(guò)去，通過(guò)實(shí)時(shí)數(shù)據(jù)感知現(xiàn)在，將兩者結(jié)合起來(lái)提取和挖掘有效信息從而洞察未來(lái)。

3.便捷展示分享：

在面對(duì)復(fù)雜多變的業(yè)務(wù)需求和問(wèn)題時(shí)，需要能靈活便捷地展示和分享分析結(jié)果，才可以幫助用戶快速實(shí)現(xiàn)數(shù)據(jù)到價(jià)值的轉(zhuǎn)變。

因此，一種支持對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行高效存儲(chǔ)索引、查詢分析和便捷展示的數(shù)據(jù)處理方式成為了企業(yè)的迫切需求。為了滿足這一需求，下秒數(shù)據(jù)平臺(tái)作為新一代數(shù)據(jù)分析平臺(tái)，首先在國(guó)內(nèi)自主實(shí)現(xiàn)了數(shù)據(jù)集成和數(shù)據(jù)流程自動(dòng)化解決方案，并將真正助力企業(yè)的數(shù)字化轉(zhuǎn)型。那么，下秒數(shù)據(jù)究竟是怎么做到的呢？本文將重點(diǎn)介紹下秒數(shù)據(jù)對(duì)于解決多源異構(gòu)數(shù)據(jù)處理探索和實(shí)踐。

Nexadata會(huì)提供預(yù)集成的模塊。比如，Nexadata會(huì)和用友、騰訊廣告、旺店通等應(yīng)用的數(shù)據(jù)集成好，通過(guò)API進(jìn)行所需數(shù)據(jù)的對(duì)接。在客戶所需數(shù)據(jù)得以集成到數(shù)據(jù)倉(cāng)庫(kù)后，Nexadata會(huì)幫助進(jìn)行數(shù)據(jù)建模。在具體落地上，Nexadata會(huì)針對(duì)每個(gè)平臺(tái)打造專門(mén)的連接器用以對(duì)接數(shù)據(jù)，并在對(duì)接好數(shù)據(jù)之后，再通過(guò)各個(gè)行業(yè)的特點(diǎn)，進(jìn)行場(chǎng)景化建模（如客戶在騰訊、頭條、快手等不同平臺(tái)投放廣告后，系統(tǒng)會(huì)屏蔽不同平臺(tái)的差異，自動(dòng)整理諸如PV、UV等指標(biāo)形成統(tǒng)一的roi模型），輔助客戶業(yè)務(wù)。

另外，Nexadata還有一個(gè)功能，即數(shù)據(jù)回傳。在具體應(yīng)用場(chǎng)景上，，Nexadata可以將各個(gè)數(shù)據(jù)自動(dòng)流轉(zhuǎn)到企業(yè)業(yè)務(wù)系統(tǒng)，比如可以將電商平臺(tái)的各種訂單數(shù)據(jù)，轉(zhuǎn)儲(chǔ)到企業(yè)數(shù)據(jù)庫(kù)，再按指定業(yè)務(wù)邏輯自動(dòng)推送單據(jù)到ERP/MES系統(tǒng)自動(dòng)串聯(lián)生產(chǎn)環(huán)節(jié)。整體來(lái)看，ELT+Ａ，可以提升企業(yè)客戶使用數(shù)據(jù)的效率，數(shù)據(jù)回傳可以增加企業(yè)客戶利用數(shù)據(jù)的場(chǎng)景，并增加數(shù)據(jù)使用的實(shí)時(shí)性——這兩個(gè)功能也是公司強(qiáng)調(diào)的，"智能數(shù)據(jù)管道"的具體體現(xiàn)。

審核編輯 黃昊宇