近日，UCloud UHadoop 通過提供獨立的HDFS存儲集群、獨立的Hive元數(shù)據(jù)管理和獨立的計算集群，實現(xiàn)了兼顧靈活性與穩(wěn)定性的存儲計算分離架構(gòu)，幫助用戶更好的提升資源利用率，增加大數(shù)據(jù)業(yè)務(wù)部署的靈活性，同時降低運營成本。

眾所周知，為了讓大規(guī)模分布式數(shù)據(jù)處理系統(tǒng)能發(fā)揮更好的性能，傳統(tǒng)的Hadoop架構(gòu)是將計算節(jié)點和數(shù)據(jù)節(jié)點連在一起的。但隨著業(yè)務(wù)數(shù)據(jù)量爆發(fā)式增長以及企業(yè)對數(shù)據(jù)價值的不斷重視，數(shù)據(jù)存儲規(guī)模和數(shù)據(jù)計算需求經(jīng)常是無法保持線性增長，計算和存儲這兩者之間隨之產(chǎn)生了“木桶效應(yīng)”，極易造成資源的浪費，而用戶開始越來越關(guān)注數(shù)據(jù)存儲成本及計算成本的問題。

這時，計算與存儲資源的分離解耦，成為了一個非常合理的選擇。UCloud UHadoop帶來的計算與存儲的分離，完全消除了計算與存儲之間的“木桶效應(yīng)”，在資源隔離、計算管理和存儲管理三個方面具有極大優(yōu)勢，同時為業(yè)務(wù)創(chuàng)新、技術(shù)架構(gòu)升級提供了更多的靈活性和可能性。

1. 不同業(yè)務(wù)計算資源的物理隔離，保障業(yè)務(wù)穩(wěn)定

傳統(tǒng)模式下，用戶是通過配置資源隊列，來為不同業(yè)務(wù)分配計算資源，但這種方式實際上只能做到邏輯隔離，無法真正實現(xiàn)計算資源的物理隔離，不可避免會發(fā)生計算集群搶占資源的情況，業(yè)務(wù)與業(yè)務(wù)之間相互影響，導致業(yè)務(wù)狀態(tài)的不穩(wěn)定。UCloud UHadoop 可以幫助用戶將不同業(yè)務(wù)拆分到不同計算集群上，實現(xiàn)計算資源的物理隔離，避免資源搶占、相互影響，從而保障業(yè)務(wù)持續(xù)穩(wěn)定。

如離線業(yè)務(wù)與實時業(yè)務(wù)的隔離業(yè)務(wù)場景，用戶可以借助UCloud UHadoop將離線計算與實時計算 拆分成兩個計算集群，然后訪問獨立的HDFS存儲集群，有效隔離計算資源，保障業(yè)務(wù)的穩(wěn)定。

2. 彈性管理計算資源，成本最優(yōu)化

傳統(tǒng)資源配置下，計算資源調(diào)度水平受限于單臺機器的存儲容量。UCloud UHadoop實現(xiàn)了存儲與計算分離之后，用戶可根據(jù)業(yè)務(wù)需要，單獨增加計算節(jié)點，計算任務(wù)完成即可釋放計算資源，無需擔心臨時的大規(guī)模擴容帶來的成本飆升，更不用再進行跨集群數(shù)據(jù)拷貝操作，有效降低了管理集群的人力成本和服務(wù)器成本。

與此同時，若計算集群有故障或是計算集群框架升級，也不會直接影響?yīng)毩⒌腍DFS集群中的數(shù)據(jù)，更好的保障了數(shù)據(jù)安全，同時也可縮短故障排查流程，降低集群運維成本。

3. HDFS存儲集群可單獨使用，更好滿足再分析需求

UCloud UHadoop提供獨立的HDFS存儲集群，用戶可以單獨使用存儲資源構(gòu)建存儲集群，將歷史數(shù)據(jù)或者原始數(shù)據(jù)壓縮后進行歸檔存儲，當有數(shù)據(jù)分析的需求時，不需要進行數(shù)據(jù)遷移，即可完成數(shù)據(jù)分析任務(wù)，使用簡單、成本還低。

除了以上三個方面， UCloud UHadoop實現(xiàn)的存儲計算徹底分離，還可以讓多個不同版本Hadoop集群，分析底層同一份HDFS存儲集群中的數(shù)據(jù)，滿足了數(shù)據(jù)一致性要求，及歷史原因?qū)е碌亩喟姹綡adoop集群共存問題。為優(yōu)化集群整體成本，UCloud UHadoop 更是針對存儲計算分離場景推出了存儲更大、價格更低的機型，可根據(jù)不同數(shù)據(jù)量規(guī)模選擇不同節(jié)點機型，幫助用戶更好的降低成本。

責任編輯：ct