摘要：?本文為您介紹如何利用DataWorks數(shù)據(jù)集成直接從MongoDB提取JSON字段到MaxCompute。

數(shù)據(jù)及賬號準備

首先您需要將數(shù)據(jù)上傳至您的MongoDB數(shù)據(jù)庫。本例中使用阿里云的云數(shù)據(jù)庫 MongoDB 版，網(wǎng)絡(luò)類型為VPC（需申請公網(wǎng)地址，否則無法與DataWorks默認資源組互通），測試數(shù)據(jù)如下。

{????"store":?{????????"book":?[
?????????????{????????????????"category":?"reference",????????????????"author":?"Nigel?Rees",????????????????"title":?"Sayings?of?the?Century",????????????????"price":?8.95
?????????????},
?????????????{????????????????"category":?"fiction",????????????????"author":?"Evelyn?Waugh",????????????????"title":?"Sword?of?Honour",????????????????"price":?12.99
?????????????},
?????????????{?????????????????"category":?"fiction",?????????????????"author":?"J.?R.?R.?Tolkien",?????????????????"title":?"The?Lord?of?the?Rings",?????????????????"isbn":?"0-395-19395-8",?????????????????"price":?22.99
?????????????}
??????????],??????????"bicycle":?{??????????????"color":?"red",??????????????"price":?19.95
??????????}
????},????"expensive":?10}

登錄MongoDB的DMS控制臺，本例中使用的數(shù)據(jù)庫為?admin，集合為?userlog，您可以在查詢窗口使用db.userlog.find().limit(10)命令查看已上傳好的數(shù)據(jù)，如下圖所示。?
?
此外，需提前在數(shù)據(jù)庫內(nèi)新建用戶，用于DataWorks添加數(shù)據(jù)源。本例中使用命令db.createUser({user:"bookuser",pwd:"123456",roles:["root"]})，新建用戶名為?bookuser，密碼為?123456，權(quán)限為root。

使用DataWorks提取數(shù)據(jù)到MaxCompute

1. 新增MongoDB數(shù)據(jù)源

   進入DataWorks數(shù)據(jù)集成控制臺，新增MongoDB類型數(shù)據(jù)源。?
   
   

   具體參數(shù)如下所示，測試數(shù)據(jù)源連通性通過即可點擊完成。由于本文中MongoDB處于VPC環(huán)境下，因此?數(shù)據(jù)源類型需選擇?有公網(wǎng)IP。?
   
   訪問地址及端口號可通過在MongoDB管理控制臺點擊實例名稱獲取，如下圖所示。?
   
   

2. 新建數(shù)據(jù)同步任務(wù)

   在DataWorks上新建數(shù)據(jù)同步類型節(jié)點。?
   
   新建的同時，在DataWorks新建一個建表任務(wù)，用于存放JSON數(shù)據(jù)，本例中新建表名為mqdata。?
   
   表參數(shù)可以通過圖形化界面完成。本例中mqdata表僅有一列，類型為string，列名為MQ data。?
   
   完成上述新建后，您可以在圖形化界面進行數(shù)據(jù)同步任務(wù)參數(shù)的初步配置，如下圖所示。選擇目標數(shù)據(jù)源名稱為odps_first，選擇目標表為剛建立的mqdata。數(shù)據(jù)來源類型為MongoDB，選擇我們剛創(chuàng)建的數(shù)據(jù)源mongodb_userlog。完成上述配置后，?點擊轉(zhuǎn)換為腳本，跳轉(zhuǎn)到腳本模式。?
   
   腳本模式代碼示例如下。

   {????"type":?"job",????"steps":?[
   ????????{????????????"stepType":?"mongodb",????????????"parameter":?{????????????????"datasource":?"mongodb_userlog",?//數(shù)據(jù)源名稱
   ????????????????"column":?[
   ????????????????????{????????????????????????"name":?"store.bicycle.color",?//JSON字段路徑，本例中提取color值
   ????????????????????????"type":?"document.document.string"?//本欄目的字段數(shù)需和name一致。假如您選取的JSON字段為一級字段，如本例中的expensive，則直接填寫string即可。
   ????????????????????}
   ????????????????],????????????????"collectionName?//集合名稱":?"userlog"
   ????????????},????????????"name":?"Reader",????????????"category":?"reader"
   ????????},
   ????????{????????????"stepType":?"odps",????????????"parameter":?{????????????????"partition":?"",????????????????"isCompress":?false,????????????????"truncate":?true,????????????????"datasource":?"odps_first",????????????????"column":?[?????//MaxCompute表列名?????????????????"mqdata"
   ????????????????],????????????????"emptyAsNull":?false,????????????????"table":?"mqdata"
   ????????????},????????????"name":?"Writer",????????????"category":?"writer"
   ????????}
   ????],????"version":?"2.0",????"order":?{????????"hops":?[
   ????????????{????????????????"from":?"Reader",????????????????"to":?"Writer"
   ????????????}
   ????????]
   ????},????"setting":?{????????"errorLimit":?{????????????"record":?""
   ????????},????????"speed":?{????????????"concurrent":?2,????????????"throttle":?false,????????????"dmu":?1
   ????????}
   ????}
   }

   完成上述配置后，點擊運行接即可。運行成功日志示例如下所示。?
   
   

結(jié)果驗證

在您的業(yè)務(wù)流程中新建一個ODPS SQL節(jié)點。?
?
您可以輸入?SELECT * from mqdata;語句，查看當前mqdata表中數(shù)據(jù)。當然這一步您也可以直接在MaxCompute客戶端中輸入命令運行。?
?