一、前言

性能測(cè)試之于軟件系統(tǒng)，是保障其業(yè)務(wù)承載能力及穩(wěn)定性的關(guān)鍵措施。以軟件系統(tǒng)的能力建設(shè)為主線，系統(tǒng)能力設(shè)計(jì)工作與性能測(cè)試工作，既有先后之順序，亦有相互之影響。以上，在性能測(cè)試的場(chǎng)景決策，架構(gòu)分析、流量分析、壓測(cè)實(shí)施和剖解調(diào)優(yōu)等主要環(huán)節(jié)中，引發(fā)對(duì)于系統(tǒng)能力底盤夯實(shí)和測(cè)試策略改進(jìn)的諸多思考。

在性能測(cè)試階段，剖析系統(tǒng)能力實(shí)現(xiàn)及調(diào)優(yōu)方案，探索更優(yōu)解及性能測(cè)試策略的提升空間。

?

二、熱點(diǎn)數(shù)據(jù)存儲(chǔ)模型壓測(cè)實(shí)戰(zhàn)及思考

通過(guò)性能測(cè)試，推測(cè)SKU庫(kù)存預(yù)占場(chǎng)景，在不同存儲(chǔ)模式下的性能瓶頸及風(fēng)險(xiǎn)。

數(shù)據(jù)架構(gòu)升級(jí)后，SKU庫(kù)存預(yù)占效率（TPS）提升2300%↑。

測(cè)試驅(qū)動(dòng)，結(jié)合系統(tǒng)實(shí)現(xiàn)，論證緩存預(yù)熱的必要性，并借助大數(shù)據(jù)分析，探索科學(xué)的緩存預(yù)熱及保溫策略。

結(jié)合新業(yè)務(wù)模式，思考更加科學(xué)的測(cè)試數(shù)據(jù)構(gòu)建思路和測(cè)試過(guò)程提效方案。

?

1、壓測(cè)場(chǎng)景

庫(kù)存預(yù)占，是指在訂單接單環(huán)節(jié)，為單據(jù)提供SKU庫(kù)存短暫預(yù)留。物流倉(cāng)配訂單接單環(huán)節(jié)，會(huì)發(fā)起SKU維度的庫(kù)存預(yù)占行為。

庫(kù)存中心通過(guò)“庫(kù)存預(yù)占主應(yīng)用”中的預(yù)占接口，對(duì)外提供SKU庫(kù)存預(yù)占標(biāo)準(zhǔn)能力。主要通過(guò)“庫(kù)存扣減邏輯管控及數(shù)據(jù)庫(kù)層交互”、“緩存層交互”，以及“任務(wù)調(diào)度”三個(gè)關(guān)鍵應(yīng)用，承載庫(kù)存邏輯計(jì)算及存儲(chǔ)層交互能力。

數(shù)據(jù)模型視角，對(duì)預(yù)占能力實(shí)現(xiàn)分為兩種：

?事業(yè)部維度庫(kù)存預(yù)占主要通過(guò)Redis緩存層承載。

?批次庫(kù)存預(yù)占直接由數(shù)據(jù)庫(kù)承載。

當(dāng)大促倉(cāng)配單量進(jìn)入爆發(fā)期，熱點(diǎn)SKU預(yù)占請(qǐng)求快速增長(zhǎng)，且?guī)齑骖A(yù)占請(qǐng)求直達(dá)數(shù)據(jù)庫(kù)，系統(tǒng)TP99會(huì)出現(xiàn)跳點(diǎn)甚至持續(xù)升高，嚴(yán)重情況下造成接單超時(shí)。

以上，計(jì)劃針對(duì)性構(gòu)造壓測(cè)場(chǎng)景及數(shù)據(jù)模型，確認(rèn)系統(tǒng)的峰值承載能力及調(diào)優(yōu)策略的有效性。

2、首壓及分析

?壓測(cè)目標(biāo)：“庫(kù)存預(yù)占主應(yīng)用”下的“預(yù)占接口”，在數(shù)據(jù)庫(kù)承載熱點(diǎn)SKU預(yù)占請(qǐng)求模式下，探索目標(biāo)TP99（≤3000ms）可承載的峰值流量，并驗(yàn)證調(diào)優(yōu)后的峰值承載能力（目標(biāo) TP99≤500ms）。

?壓測(cè)方案：?jiǎn)蝹€(gè)熱點(diǎn)SKU持續(xù)發(fā)壓預(yù)占，發(fā)壓起始QPS=10，并以QPS+10遞增，探索可承載請(qǐng)求的性能上限。

?壓測(cè)過(guò)程及結(jié)論

?在QPS=50時(shí)，系統(tǒng)可穩(wěn)定支撐庫(kù)存預(yù)占業(yè)務(wù)（TP99≈100ms）。

?“庫(kù)存預(yù)占”主應(yīng)用：CPU使用率≤15%，內(nèi)存使用率≤35%

?“庫(kù)存扣減邏輯管控及數(shù)據(jù)庫(kù)層交互”應(yīng)用：CPU使用率≤18%，內(nèi)存使用率≤65%

?數(shù)據(jù)庫(kù)：CPU使用率≤7.8%（無(wú)慢SQL）

?基于當(dāng)前的系統(tǒng)性能體現(xiàn)，具備持續(xù)加壓的條件。

?以QPS+10遞增加壓至60時(shí)，TP99在2分鐘左右快速增長(zhǎng)至7000ms，“庫(kù)存預(yù)占”主應(yīng)用TPS≤60，預(yù)判系統(tǒng)能力達(dá)到瓶頸，停止加壓。

“庫(kù)存預(yù)占”主應(yīng)用 TP99+TPS趨勢(shì)

“庫(kù)存預(yù)占”主應(yīng)用 硬件資源趨勢(shì)

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)（CPU）

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)（慢SQL）

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)（內(nèi)存）

?瓶頸預(yù)判：?jiǎn)螕?jù)維度的庫(kù)存預(yù)占是以先查（可用庫(kù)存）后寫（預(yù)占庫(kù)存）的方式進(jìn)行，在對(duì)熱點(diǎn)SKU高頻次下單過(guò)程中，數(shù)據(jù)庫(kù)會(huì)對(duì)該行記錄長(zhǎng)時(shí)間持續(xù)讀寫，數(shù)據(jù)庫(kù)層面會(huì)通過(guò)行鎖機(jī)制保證單筆交易的原子性，行級(jí)鎖引發(fā)的鎖競(jìng)爭(zhēng)大概率會(huì)導(dǎo)致系統(tǒng)處理能力達(dá)到瓶頸，制約系統(tǒng)的執(zhí)行效率。同時(shí)從應(yīng)用層到存儲(chǔ)層，未出現(xiàn)硬件資源瓶頸，排除硬件資源不足的影響。

3、調(diào)優(yōu)及復(fù)壓

?存儲(chǔ)層改造（見(jiàn) 庫(kù)存中心-庫(kù)存預(yù)占場(chǎng)景 系統(tǒng)架構(gòu)簡(jiǎn)圖）：經(jīng)首輪壓測(cè)及分析，為解決已知性能瓶頸，從數(shù)據(jù)架構(gòu)層面，將批次庫(kù)存預(yù)占由數(shù)據(jù)庫(kù)直接承載請(qǐng)求壓力，升級(jí)為由Redis緩存主要承載請(qǐng)求壓力。利用Redis高性能吞吐能力，解決并發(fā)場(chǎng)景下的數(shù)據(jù)讀寫效率問(wèn)題，由Redis前置承載熱點(diǎn)商品的主要流量。

?一致性保障（見(jiàn) 庫(kù)存中心-庫(kù)存變化監(jiān)控機(jī)制簡(jiǎn)圖）

?為確保緩存層與數(shù)據(jù)庫(kù)層數(shù)據(jù)一致性，在緩存命中的情況下，通過(guò)建立調(diào)度任務(wù)或MQ方式異步回寫數(shù)據(jù)庫(kù)。

?在緩存擊穿時(shí)，通過(guò)先讀（數(shù)據(jù)庫(kù)）后寫（Redis）再反饋（API）預(yù)占結(jié)果，之后異步回寫數(shù)據(jù)庫(kù)，確保數(shù)據(jù)一致性。

庫(kù)存中心-庫(kù)存預(yù)占場(chǎng)景 系統(tǒng)架構(gòu)簡(jiǎn)圖

庫(kù)存中心-庫(kù)存變化監(jiān)控機(jī)制簡(jiǎn)圖

?復(fù)壓結(jié)論

?完成數(shù)據(jù)架構(gòu)升級(jí)及熱點(diǎn)SKU緩存預(yù)熱后，初始QPS=1100并以100遞增，TPS上探至1200時(shí)，TP99≈130ms，系統(tǒng)可穩(wěn)定支撐批次庫(kù)存預(yù)占業(yè)務(wù)。

?當(dāng)TPS上探至1300時(shí)，TP99出現(xiàn)明顯波動(dòng)（毛刺≈420ms），且“緩存層交互”應(yīng)用CPU占用率飆升至90%+，核心鏈路穩(wěn)定性劣化，停止加壓。

?相較數(shù)據(jù)庫(kù)承載模式，緩存化升級(jí)后，TP99滿足預(yù)期（≤500ms），TPS承載能力大幅提升2300%=(1200-50)/50。

“庫(kù)存預(yù)占”主應(yīng)用 TP99+TPS趨勢(shì)

“庫(kù)存預(yù)占”主應(yīng)用 硬件資源趨勢(shì)

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)(CPU)

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)（慢SQL）

數(shù)據(jù)庫(kù) 關(guān)鍵指標(biāo)（內(nèi)存）

Redis集群 關(guān)鍵指標(biāo)

4、系統(tǒng)健壯性思考

?全量緩存的弊端：供應(yīng)鏈模式中的不同行業(yè)，SKU品類生命周期存在較大差異（如服飾行業(yè)≈3個(gè)月），全量緩存模式會(huì)導(dǎo)致Redis中存在大量無(wú)效品類，資源消耗膨脹不可控，增加資源成本，有必要設(shè)計(jì)更有效的緩存方案。

?緩存預(yù)熱及保溫的必要性：緩存命中率，與預(yù)熱機(jī)制和保溫策略緊密相關(guān)。

?必要性：常規(guī)大促節(jié)奏，起售期會(huì)觸發(fā)首次緩存初始化，促銷品類與日常銷售品類的重合度，決定了首次緩存擊穿的概率。目前的Key有效期=7天，大促起售期→開(kāi)門紅→高峰期間隔均大于7天，缺少必要的保溫策略，會(huì)增加下個(gè)促銷節(jié)點(diǎn)前緩存失效的可能性。

大促開(kāi)門紅至11.11 緩存命中率趨勢(shì)

系統(tǒng)整體可平穩(wěn)承載流量，同時(shí)緩存命中率曲線，有一定的提升空間

?預(yù)熱思路：如何盡可能保持在大促等特定時(shí)段的緩存有效性，提升緩存命中率（降低擊穿概率），可通過(guò)前置的多維度分析調(diào)研，包括但不限于基于大數(shù)據(jù)的大促前集中采購(gòu)品類分布分析、歷次大促及關(guān)鍵節(jié)點(diǎn)促銷品類密度及分布分析 以及 關(guān)鍵客戶促銷計(jì)劃調(diào)研等方式，結(jié)合技術(shù)手段，前置預(yù)判、預(yù)熱及保溫。

?緩存預(yù)熱實(shí)踐：通過(guò)對(duì)某客戶大促前集中采購(gòu)期及大促節(jié)點(diǎn)SKU品類重合度分析，發(fā)現(xiàn)以下規(guī)律

?集采入視角：大促集采期SKU品類，相對(duì)開(kāi)門紅品類重合度≈69%，相對(duì)11.11品類重合度≈75%。

?銷售出視角：起售期SKU品類，相對(duì)開(kāi)門紅重合度≈94%，開(kāi)門紅相對(duì)11.11品類重合度≈75%。

?以上數(shù)據(jù)證明，通過(guò)在開(kāi)門紅以及11.11大促等關(guān)鍵促銷節(jié)點(diǎn)前，將集采期及前一促銷期的SKU可用庫(kù)存數(shù)據(jù)，進(jìn)行緩存預(yù)熱，有助于提升預(yù)占請(qǐng)求的緩存命中率。

大促主要環(huán)節(jié) SKU品類重合度分析

?異常場(chǎng)景識(shí)別：庫(kù)存場(chǎng)景對(duì)數(shù)據(jù)三性（準(zhǔn)確性、及時(shí)性、完整性）要求較高，在數(shù)據(jù)庫(kù)與緩存的雙向同步過(guò)程中，需避免因一致性問(wèn)題引發(fā)的業(yè)務(wù)異常。

?超賣異常識(shí)別：大促單量峰值期，為保護(hù)主數(shù)據(jù)庫(kù)安全，通過(guò)緩存同步限流減緩主庫(kù)壓力，造成緩存至數(shù)據(jù)庫(kù)同步延遲，同一SKU在數(shù)據(jù)庫(kù)層未及時(shí)扣減，如此時(shí)疊加緩存Key到期情況，接口直接返回MySQL數(shù)據(jù)，可能會(huì)引發(fā)超賣業(yè)務(wù)異常。

?系統(tǒng)優(yōu)化思路

?靜態(tài)方案：?jiǎn)瘟扛叻迤谄陂g，延長(zhǎng)Key效期，覆蓋大促關(guān)鍵環(huán)節(jié)間隔。

?動(dòng)態(tài)方案：增加熱點(diǎn)SKU緩存效期延時(shí)策略，Key到期T-1天，日均預(yù)占請(qǐng)求量大于1的SKU，自動(dòng)延長(zhǎng)Key有效期。

5、測(cè)試策略改進(jìn)思考

?場(chǎng)景拓展

?直播電商模式主流化趨勢(shì)強(qiáng)勁（2023年前三季度全國(guó)直播電商銷售額達(dá)1.98萬(wàn)億元，增長(zhǎng)60.6%，占網(wǎng)絡(luò)零售額的18.3%，直播電商拉動(dòng)網(wǎng)零增速7.7個(gè)百分點(diǎn)），相較傳統(tǒng)電商，其限時(shí)促銷模式疊加社交傳播擴(kuò)散屬性，單品瞬時(shí)流量大，不同促銷場(chǎng)次品類重合度更低，促銷頻次高，對(duì)系統(tǒng)性能提出了不同的要求。

?反推性能測(cè)試策略，從平臺(tái)視角出發(fā)，需要盡可能提升選用SKU的多樣性，同時(shí)降低壓測(cè)單次請(qǐng)求SKU的品類重合度，識(shí)別真實(shí)復(fù)雜場(chǎng)景下的性能隱患。

?效率提升：復(fù)雜場(chǎng)景的倉(cāng)配訂單性能測(cè)試工作，需要前置基礎(chǔ)數(shù)據(jù)的大量?jī)?chǔ)備（商品、庫(kù)存），以及高復(fù)雜度接口請(qǐng)求數(shù)據(jù)準(zhǔn)備。如何確保商品和庫(kù)存等基礎(chǔ)數(shù)據(jù)快速就緒？同時(shí)下單請(qǐng)求的報(bào)文體根據(jù)SKU密度和復(fù)雜度需要，自動(dòng)化快速構(gòu)建組裝？需要在現(xiàn)有壓測(cè)框架基礎(chǔ)上，開(kāi)發(fā)擴(kuò)展功能，以支撐從基礎(chǔ)數(shù)據(jù)到復(fù)雜單據(jù)的一鍵快速初始化構(gòu)造能力，降低復(fù)雜場(chǎng)景構(gòu)建難度，提升測(cè)試工作效率。

?

三、無(wú)效調(diào)用量分析、識(shí)別及調(diào)優(yōu)實(shí)戰(zhàn)

在性能測(cè)試的流量分析階段，結(jié)合業(yè)務(wù)場(chǎng)景調(diào)研，前置識(shí)別性能瓶頸疑點(diǎn)。

推動(dòng)排查及調(diào)整核心鏈路調(diào)用邏輯后，在標(biāo)定的業(yè)務(wù)窗口期，核心接口調(diào)用總量降低60%↓。

深入細(xì)分業(yè)務(wù)場(chǎng)景，推演潛在的調(diào)優(yōu)空間。

1、背景

物流系統(tǒng)在訂單出庫(kù)后，由 訂單明細(xì)查詢應(yīng)用，提供訂單及其關(guān)聯(lián)包裹明細(xì)信息的對(duì)外查詢能力。主要由外部系統(tǒng)（Top2量級(jí)調(diào)用方：接入回傳67%、履約回傳11%）調(diào)用，在單據(jù)出庫(kù)后，輸出出庫(kù)貨品的數(shù)量和包裹詳情等訂單基礎(chǔ)信息。

關(guān)鍵（Top2）調(diào)用方拓?fù)?/strong>