在華為全聯(lián)接2021上，鯤鵬應(yīng)用使能套件BoostKit（以下簡(jiǎn)稱“鯤鵬BoostKit”）正式升級(jí)為2.0，提供 “數(shù)據(jù)親和”加速組件，對(duì)數(shù)據(jù)全處理流程進(jìn)行負(fù)載優(yōu)化，從而大幅提升應(yīng)用性能。本期由華為計(jì)算產(chǎn)品線算法專家陳澤暉和何智文向大家展示鯤鵬BoostKit 2.0分布式存儲(chǔ)全局緩存（Global Cache）特性如何做到數(shù)據(jù)存儲(chǔ)和處理的倍數(shù)級(jí)加速能力。

在摩爾定律的驅(qū)使下，計(jì)算能力倍數(shù)級(jí)增長(zhǎng)，但數(shù)據(jù)傳輸速度過慢導(dǎo)致大量計(jì)算資源浪費(fèi)，也限制了系統(tǒng)性能發(fā)揮。例如，在金融行業(yè)，銀行逐步采用AI技術(shù)對(duì)客戶信息、遠(yuǎn)程開戶錄像、客服中心語音、企業(yè)資料等數(shù)據(jù)進(jìn)行挖掘與利用，對(duì)海量文件的讀寫會(huì)占用大量計(jì)算資源，導(dǎo)致業(yè)務(wù)處理效率降低。

原生Ceph IO請(qǐng)求的處理路徑長(zhǎng)，導(dǎo)致IO時(shí)延高，用戶數(shù)據(jù)讀寫時(shí)間長(zhǎng)

鯤鵬BoostKit分布式存儲(chǔ)全局緩存應(yīng)運(yùn)而生，通過緩存前后臺(tái)分離、IO聚合、智能預(yù)取三大創(chuàng)新技術(shù)實(shí)現(xiàn)典型讀寫場(chǎng)景IOPS提升10倍，IO時(shí)延降低90%，意味著同樣時(shí)間內(nèi)銀行處理的交易筆數(shù)提升10倍，而且每筆交易處理時(shí)長(zhǎng)降低90%！

測(cè)試模型：4K IO，7:3混合隨機(jī)讀寫；硬件配置：256GB內(nèi)存，25GE網(wǎng)絡(luò)，每節(jié)點(diǎn)12 * 8TB SATA HDD，2 * 3.2TB NVMe SSD

下面帶你1分鐘get三大創(chuàng)新技術(shù)：

1. 緩存前后臺(tái)分離——縮短數(shù)據(jù)處理路徑：降低IO請(qǐng)求的線程數(shù)量，上層應(yīng)用只需要將數(shù)據(jù)寫入到緩存池或從緩存池中讀取即可響應(yīng)用戶請(qǐng)求。

在數(shù)據(jù)寫入場(chǎng)景，數(shù)據(jù)到寫緩存后就可以給上層應(yīng)用返回?cái)?shù)據(jù)寫入成功，無需與后臺(tái)Ceph存儲(chǔ)集群等分布式存儲(chǔ)軟件交互，用戶業(yè)務(wù)應(yīng)用無感知

2. 智能預(yù)取——讀加速：將數(shù)據(jù)提前加載至讀緩存，實(shí)現(xiàn)80%以上緩存命中率和2倍以上讀性能加速。

基于IO數(shù)據(jù)統(tǒng)計(jì)，智能分析IO模型特征，實(shí)現(xiàn)緩存命中率大幅提升

3. IO聚合——寫加速：技術(shù)通過批量數(shù)據(jù)聚合，實(shí)現(xiàn)全周期隨機(jī)寫入轉(zhuǎn)順序?qū)懭?，?shí)現(xiàn)滿帶寬性能。

在緩存中把各種大小的數(shù)據(jù)塊聚合成以8M為單位的大數(shù)據(jù)塊，從隨機(jī)小IO轉(zhuǎn)變成順序大IO寫入后端Ceph等分布式存儲(chǔ)集群

此外，BoostKit全局緩存面向鯤鵬生態(tài)，結(jié)合硬件特點(diǎn)開展軟硬協(xié)同優(yōu)化，如CPU親和、NUMA親和等，進(jìn)一步達(dá)到“數(shù)據(jù)親和”，在不增加硬件成本的前提下，全局緩存面向全命中和真實(shí)業(yè)務(wù)負(fù)載提供2~10倍端到端讀寫性能加速能力。

原文標(biāo)題：BoostKit干貨店｜同樣硬件，Ceph存儲(chǔ)性能提升10倍

文章出處：【微信公眾號(hào)：華為計(jì)算】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。