對(duì)象存儲(chǔ)成為海量數(shù)字底座首選

移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等技術(shù)把我們帶入海量數(shù)據(jù)時(shí)代，數(shù)據(jù)終端呈現(xiàn)指數(shù)級(jí)增長，數(shù)據(jù)的類型和數(shù)量越來越多。在企業(yè)內(nèi)部，新增數(shù)據(jù)中超過80%都是非結(jié)構(gòu)化數(shù)據(jù)。IT初期規(guī)劃中，由于數(shù)據(jù)規(guī)模較小，企業(yè)往往采用NAS存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。但當(dāng)文件超過千萬級(jí)，NAS會(huì)出現(xiàn)性能瓶頸，嚴(yán)重影響業(yè)務(wù)效率；而且數(shù)據(jù)量攀升帶來的頻繁擴(kuò)容、升級(jí)，也增加了不小的維護(hù)工作量。對(duì)象存儲(chǔ)無疑是應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)增長的最佳選項(xiàng)，從實(shí)際部署情況看，越來越多的企業(yè)開始將非結(jié)構(gòu)化數(shù)據(jù)切換到對(duì)象存儲(chǔ)平臺(tái)。

技術(shù)演進(jìn)帶來異構(gòu)管理困境

IT建設(shè)是一個(gè)漸進(jìn)的過程，技術(shù)在不斷發(fā)展，IT基礎(chǔ)設(shè)施也在不斷更新。最早的時(shí)候，企業(yè)的業(yè)務(wù)信息量比較小，只用一個(gè)文件服務(wù)器就可以解決問題。隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)逐漸增多，磁盤陣列、軟件定義存儲(chǔ)開始成為數(shù)據(jù)基礎(chǔ)設(shè)施的中流砥柱。技術(shù)演進(jìn)造成了存儲(chǔ)設(shè)備的參差不齊，品牌紛呈。異構(gòu)環(huán)境帶來了設(shè)備不兼容、數(shù)據(jù)遷移不便等管理難題。據(jù)統(tǒng)計(jì)，管理員平均40%的工作時(shí)間用于維護(hù)存儲(chǔ)的管理功能，平均25-50%的存儲(chǔ)管理時(shí)間用于診斷和解決問題。

在大型數(shù)據(jù)中心里面，這種情況尤其突出。在交付廣發(fā)證券檔案中心對(duì)象存儲(chǔ)項(xiàng)目時(shí)，客戶原有NAS存儲(chǔ)了近6000萬文件，總?cè)萘拷?0TB，客戶利用業(yè)務(wù)空窗期通過傳統(tǒng)方式進(jìn)行歷史數(shù)據(jù)搬遷，耗時(shí)長達(dá)2個(gè)月，運(yùn)維工作也需要持續(xù)的人力投入。如果對(duì)象存儲(chǔ)能夠快速納管能力，業(yè)務(wù)上線時(shí)間將會(huì)大幅縮短，運(yùn)維人力將得到釋放，客戶效益也將進(jìn)一步提升。當(dāng)NAS向?qū)ο蟠鎯?chǔ)演進(jìn)成為必由之路，如何避免陷入設(shè)備和數(shù)據(jù)的維護(hù)管理，將是所有對(duì)象存儲(chǔ)廠商必然克服的難題。

杉巖MOS幫您免遷移納管NAS

在MOS海量對(duì)象存儲(chǔ)納管NAS設(shè)備的過程中，MOS會(huì)讀取NAS中每個(gè)文件的元數(shù)據(jù)信息，并將其轉(zhuǎn)換為對(duì)象存儲(chǔ)中的對(duì)象屬性信息，同時(shí)將源文件與桶空間進(jìn)行映射。納管完成之后，前端業(yè)務(wù)可通過S3接口直接訪問NAS中的歷史數(shù)據(jù)，后續(xù)新寫入的數(shù)據(jù)則直接存入對(duì)象存儲(chǔ)中。免去了數(shù)據(jù)遷移與校驗(yàn)的繁瑣過程，業(yè)務(wù)上線的時(shí)間大大縮短。

在實(shí)際測(cè)試中，3個(gè)節(jié)點(diǎn)的對(duì)象存儲(chǔ)集群，對(duì)1000萬個(gè)文件進(jìn)行納管只需要90分鐘，并且無需考慮文件大小。相比之下，使用傳統(tǒng)方式遷移1000萬個(gè)16KB大小的文件，需要12個(gè)小時(shí)左右的時(shí)間，若文件增大，遷移時(shí)間將更長。另外，在節(jié)點(diǎn)數(shù)更多的情況下，納管時(shí)間會(huì)更短。考慮到不同客戶對(duì)NAS設(shè)備的替代需求存在差異，杉巖提供了不同粒度的納管選項(xiàng)。客戶可選擇對(duì)整個(gè)NAS目錄進(jìn)行納管，也可以只納管其中的某個(gè)子目錄，從而實(shí)現(xiàn)增量納管的功能。

此外，如果客戶想要淘汰NAS存儲(chǔ)，也可通過配置生命周期管理策略，系統(tǒng)自動(dòng)將NAS中的歷史數(shù)據(jù)逐步遷移到對(duì)象存儲(chǔ)中，無需人為干預(yù)。整個(gè)遷移過程完全透明，用戶無感知。

成功實(shí)踐

中國人保財(cái)險(xiǎn)

隨著互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)融合，中國人保財(cái)險(xiǎn)的互聯(lián)網(wǎng)業(yè)務(wù)及用戶規(guī)模不斷擴(kuò)大，保險(xiǎn)影像平臺(tái)的數(shù)據(jù)量激增，原有NAS存儲(chǔ)面臨海量小文件性能差、設(shè)備擴(kuò)容復(fù)雜、數(shù)據(jù)安全隱患等諸多挑戰(zhàn)。該項(xiàng)目基于5節(jié)點(diǎn)、總?cè)萘?00TB的MOS對(duì)象存儲(chǔ)集群，構(gòu)建影像數(shù)據(jù)存儲(chǔ)平臺(tái)，通過納管原有NAS中近600萬文件，實(shí)現(xiàn)資源整合；同時(shí)將海量小文件性能提升至毫秒級(jí)，業(yè)務(wù)顯著提效；在線彈性擴(kuò)容，滿足業(yè)務(wù)發(fā)展需要；通過http協(xié)議訪問，用戶可直接從存儲(chǔ)拉取數(shù)據(jù)，實(shí)現(xiàn)影像數(shù)據(jù)實(shí)時(shí)調(diào)閱。

珠海華潤銀行

珠海華潤銀行是珠海市首家資產(chǎn)過千億的獨(dú)立法人企業(yè)，業(yè)務(wù)涵蓋公司金融、個(gè)人金融和金融市場(chǎng)等多個(gè)領(lǐng)域，現(xiàn)有珠海、深汕兩個(gè)數(shù)據(jù)中心。業(yè)務(wù)持續(xù)增長使得交易單號(hào)、音視頻等非結(jié)構(gòu)化數(shù)據(jù)激增，日增量在200-400GB，原有NAS擴(kuò)容費(fèi)時(shí)費(fèi)力，而且NAS不支持雙中心雙寫，導(dǎo)致異地訪問帶寬壓力大，影響客戶體驗(yàn)。

該項(xiàng)目在珠海和深汕數(shù)據(jù)中心部署6節(jié)點(diǎn)對(duì)象存儲(chǔ)集群，總?cè)萘拷?00TB，替換原有EMC高端NAS存儲(chǔ)，上層對(duì)接數(shù)據(jù)管理平臺(tái)ODS（Operational Data Storage），支撐更大的數(shù)據(jù)規(guī)模和更高的訪問性能。通過NAS納管實(shí)現(xiàn)資源整合，綜合成本削減超30%，IT預(yù)算分配更加合理；高并發(fā)優(yōu)勢(shì)和雙中心數(shù)據(jù)就近讀寫能力，讓業(yè)務(wù)提效超過50%，數(shù)據(jù)可靠性提升2倍以上。

國內(nèi)最大的電子認(rèn)證服務(wù)機(jī)構(gòu)

作為國家級(jí)權(quán)威金融安全認(rèn)證機(jī)構(gòu) ，累計(jì)服務(wù)超過2400家金融機(jī)構(gòu)，其電子簽名相關(guān)業(yè)務(wù)每月新增4000萬個(gè)文件，NAS性能瓶頸以及頻繁的冷數(shù)據(jù)歸檔讓客戶最終決定基于對(duì)象存儲(chǔ)構(gòu)建海量智能數(shù)字底座。該項(xiàng)目采用8節(jié)點(diǎn)、總?cè)萘?00 TB的杉巖MOS對(duì)象存儲(chǔ)集群納管原有NAS，業(yè)務(wù)割接時(shí)間縮短到小時(shí)級(jí)，輕松支撐數(shù)十億文件的存儲(chǔ)需求；將低配服務(wù)器和原有NAS作為冷數(shù)據(jù)池，實(shí)現(xiàn)設(shè)備利舊，通過生命周期管理策略實(shí)現(xiàn)數(shù)據(jù)自動(dòng)分層歸檔，綜合成本降低超過40%。

大數(shù)據(jù)時(shí)代，一個(gè)企業(yè)數(shù)據(jù)占有量越多、數(shù)據(jù)整合越有效，企業(yè)的經(jīng)營發(fā)展就越有優(yōu)勢(shì)。杉巖數(shù)據(jù)的NAS納管方案，極大降低了設(shè)備更替給業(yè)務(wù)連續(xù)性帶來的影響，縮短了業(yè)務(wù)割接時(shí)間，同時(shí)利用自動(dòng)化策略減輕管理運(yùn)維壓力，為企業(yè)IT架構(gòu)的平滑演進(jìn)保駕護(hù)航。

fqj