在信息化建設(shè)過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟和人為因素等因素影響，導(dǎo)致企業(yè)在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，它們構(gòu)成了的多源的異構(gòu)數(shù)據(jù)，當(dāng)企業(yè)為完成一項工作，可能需要訪問分布在網(wǎng)絡(luò)不同位置上的多個數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)，從而對企業(yè)對未來規(guī)劃造成困擾。

整合多源異構(gòu)系統(tǒng)數(shù)據(jù)的目標(biāo)

多源異構(gòu)數(shù)據(jù)整合的目標(biāo)就在于實現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)信息資源、硬件設(shè)備資源和人力資源的合并和共享。其中關(guān)鍵的一點就是以分散的局部的數(shù)據(jù)為基礎(chǔ)，通過各種工具和處理邏輯建立全局的統(tǒng)一的數(shù)據(jù)或視圖。

傳統(tǒng)技術(shù)路線：

對于多源異構(gòu)系統(tǒng)數(shù)據(jù)整合的需求是十分多樣的，比如：數(shù)據(jù)的實時無縫對接或批量對接、數(shù)據(jù)實時或T+1同步、單向數(shù)據(jù)傳輸?shù)?。利用傳統(tǒng)技術(shù)路線。

可以有以下幾種方式解決：

1.跨平臺，SOAP服務(wù)對接

SOAP是一種輕量的、簡單的、基于XML的數(shù)據(jù)交換協(xié)議，它被設(shè)計成交換結(jié)構(gòu)化或相對固化的信息。

SOAP服務(wù)具有簡單、可擴展的特點，其實現(xiàn)與廠商、編程語言和具體廠商都沒有關(guān)系。SOAP客戶端發(fā)送一個請求，調(diào)用相應(yīng)的對象，然后服務(wù)器返回結(jié)果。這些消息是XML 格式的，封裝成HTTP 協(xié)議，符合任何路由器、防火墻或代理服務(wù)器的要求。SOAP可以使用任何語言來完成，可以在任何操作系統(tǒng)中無需改動正常運行。因此，SOAP具有強大的網(wǎng)絡(luò)穿透能力，具有廣泛的適應(yīng)性，比較適合當(dāng)前自然資源部門應(yīng)用系統(tǒng)繁多、技術(shù)體系不一、數(shù)據(jù)多源異構(gòu)這一現(xiàn)實性的應(yīng)用系統(tǒng)和數(shù)據(jù)集成要求。

2.大文件，F(xiàn)TP文件共享

文件傳輸協(xié)議（FTP）雖然是一種非常傳統(tǒng)的數(shù)據(jù)共享和交換技術(shù)，但是，在自然資源領(lǐng)域中，針對遙感圖像、三維地圖、CAD圖紙（Drawing）、激光點云等大數(shù)據(jù)量文件的交互，采用FTP交互方式是最合適不過的了。

只要在應(yīng)用系統(tǒng)之間約定文件服務(wù)器地址、文件命名規(guī)則、文件內(nèi)容格式等參數(shù)，通過文件服務(wù)器的文件上傳和下載，即可完成數(shù)據(jù)交互。該方案簡單實用，避免了去理解、實現(xiàn)復(fù)雜網(wǎng)絡(luò)傳輸和網(wǎng)絡(luò)協(xié)議等相關(guān)概念和技術(shù)。

FTP的主要缺點一是安全性較弱，一般依賴于操作系統(tǒng)層級的文件安全性；二是對于需要隨機存取數(shù)據(jù)文件內(nèi)任意指定部分的要求，無法響應(yīng)，不夠靈活。

3.關(guān)系型，數(shù)據(jù)庫數(shù)據(jù)共享

自然資源領(lǐng)域涉及到七大關(guān)鍵業(yè)務(wù)環(huán)節(jié)，與每個業(yè)務(wù)環(huán)節(jié)對應(yīng)的多個業(yè)務(wù)應(yīng)用系統(tǒng)之間存在大量的數(shù)據(jù)共享交換要求。對于應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換來說，可以采用共享數(shù)據(jù)庫作為數(shù)據(jù)交換介質(zhì)。

在兩個應(yīng)用系統(tǒng)間完全互信的情況下，可以直接讀取對方數(shù)據(jù)庫里的數(shù)據(jù)。通常情況下，每個應(yīng)用系統(tǒng)對于數(shù)據(jù)的保密性、安全性都有一定的要求，不允許隨便開放給其他應(yīng)用系統(tǒng)直接存取。在這種情況下，可以通過建立第三方公共交換庫，通過該庫實現(xiàn)應(yīng)用系統(tǒng)間的數(shù)據(jù)共享交換。

相比文件傳輸方式（FTP）來說，因為使用的同一個共享數(shù)據(jù)庫，交互更加簡單。而且，數(shù)據(jù)庫管理系統(tǒng)可以提供相當(dāng)多的數(shù)據(jù)操作，比如復(fù)雜的條件查詢、更新、回滾等，交互方式比較靈活。通過數(shù)據(jù)庫的事務(wù)機制，可以保證數(shù)據(jù)交換的可靠性。

4.異步，消息隊列通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載（ETL）

消息隊列是更加松耦合、靈活、可靠的應(yīng)用系統(tǒng)集成和數(shù)據(jù)交換共享技術(shù)。通過引入消息中間件，在所有應(yīng)用系統(tǒng)之間建立起可實現(xiàn)消息傳輸、路由、過濾、增強、錯誤捕獲和處理的消息傳輸機制，由消息隊列來保證數(shù)據(jù)傳輸?shù)漠惒叫院头€(wěn)定性。消息隊列跟互聯(lián)網(wǎng)的連接結(jié)構(gòu)類似，所有數(shù)據(jù)都可以通過消息中間件，建立起一條可靠的消息傳輸鏈路，進行應(yīng)用系統(tǒng)間的通信。

創(chuàng)新技術(shù)路線：

相較于消息隊列信息通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載（ETL），下秒數(shù)據(jù)Nexadata自成立開始就一直堅持研發(fā)創(chuàng)新道路，是國內(nèi)首家打造“ELT+A”智能數(shù)據(jù)管道的軟件廠商。

1.創(chuàng)新性的打造“ELT+A”更加擁有發(fā)展前景，以及更大程度上滿足企業(yè)的需求，幫助企業(yè)低成本快速整合異構(gòu)系統(tǒng)數(shù)據(jù)，實現(xiàn)業(yè)務(wù)數(shù)據(jù)自動化流轉(zhuǎn)、互通共享。

2.通過無代碼的數(shù)據(jù)集成與數(shù)據(jù)建模技術(shù)，幫助企業(yè)將所有應(yīng)用程序、數(shù)據(jù)庫、事件和文件等數(shù)據(jù)信息提取到數(shù)據(jù)倉庫中，并快速將分散的數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)集、API、自動化流程等開箱即用的數(shù)據(jù)服務(wù)。

審核編輯 黃昊宇