作者：京東保險 鄭飛

前言

在11.11大促中，質(zhì)量保障成為了確保大促順利進行的堅固防線。其中，測試右移作為一種前瞻性的質(zhì)量策略，正日益彰顯其不可或缺的價值。而監(jiān)控，作為測試右移戰(zhàn)略中的核心環(huán)節(jié)，不僅承擔(dān)著全面、精準(zhǔn)捕捉系統(tǒng)運行動態(tài)的重任，更需在問題初露端倪時，迅速吹響警報，引領(lǐng)團隊實施有效干預(yù)。然而，當(dāng)前大部分關(guān)于測試右移中監(jiān)控部分的討論，多聚焦于監(jiān)控技術(shù)的選擇與實現(xiàn)，以及如何構(gòu)建全面的監(jiān)控體系，而對于監(jiān)控告警這一核心功能的深度剖析卻相對較少。

告警，作為監(jiān)控體系中的“哨兵”，其重要性不言而喻。一個高效、精準(zhǔn)的告警機制，能夠第一時間將潛在問題反饋給相關(guān)人員，為快速定位、解決問題贏得寶貴時間。但現(xiàn)實中，告警機制的設(shè)計與實施往往面臨著諸多挑戰(zhàn)，如告警信息的泛濫、感知度不足、準(zhǔn)確性不高等，這些問題都嚴(yán)重制約了監(jiān)控體系效能的發(fā)揮。

因此，本文特從告警視角出發(fā)，探討當(dāng)前監(jiān)控告警機制存在的問題與挑戰(zhàn)，并提出針對性的優(yōu)化與建設(shè)策略。希望通過本文的闡述，能夠為讀者在構(gòu)建和優(yōu)化監(jiān)控告警體系時提供有益的參考與啟示。

一、背景概述與當(dāng)前狀況

在構(gòu)建業(yè)務(wù)監(jiān)控體系的過程中，我們通常采用多元化的告警通知手段，涵蓋郵件、即時通訊消息等多種形式。當(dāng)前，團隊中大部分業(yè)務(wù)監(jiān)控主要依賴郵件和即時通訊消息（京ME）作為告警傳遞的兩大渠道。

然而，隨著監(jiān)控范圍的不斷擴大和業(yè)務(wù)應(yīng)用場景的日益豐富，現(xiàn)有的報警通知機制正面臨一系列嚴(yán)峻挑戰(zhàn)。

二、面臨的主要挑戰(zhàn)

1.報警感知度不足：單一的報警模式或當(dāng)前報警功能的感知能力存在明顯短板。例如，由于每日接收的郵件數(shù)量龐大，郵件通知方式往往容易被忽視；相較于郵件，京me消息通知的感知度雖有所提升，但仍存在遺漏關(guān)鍵報警信息的風(fēng)險。

2.報警信息泛濫：無效或冗余的報警信息會嚴(yán)重干擾正常報警的傳遞，增加值班人員的工作負(fù)擔(dān)，降低其處理效率。更為嚴(yán)重的是，這些無效信息會將緊急報警淹沒在海量報警信息之中，導(dǎo)致關(guān)鍵信息被忽視。

3.報警不準(zhǔn)確：不合理的閾值設(shè)置可能引發(fā)漏報或誤報現(xiàn)象，進而對系統(tǒng)的穩(wěn)定性和安全性構(gòu)成潛在威脅。

三、告警中心建設(shè)目標(biāo)

告警中心的建設(shè)旨在全面攻克上述存在的痛點問題，并在此基礎(chǔ)上拓展更為全面且強大的功能體系。以下是該建設(shè)的核心目標(biāo)：

1.構(gòu)建統(tǒng)一報警平臺：旨在提供一個集成化的報警通知中心，確保各業(yè)務(wù)監(jiān)控模塊能夠?qū)Ｗ⒂谄浜诵墓δ艿膶崿F(xiàn)，而無需為報警通知的多樣化與整合性擔(dān)憂。

2.實現(xiàn)多通道告警：通過集成郵件、即時通訊、短信等多種報警通知渠道，構(gòu)建一個具備多維度告警感知能力的系統(tǒng)，確保報警信息能夠精準(zhǔn)觸達目標(biāo)接收者。

3.引入優(yōu)先級設(shè)定機制：為報警信息提供分級與優(yōu)先級設(shè)定的能力，使接收者能夠迅速識別并優(yōu)先處理高優(yōu)先級報警，確保緊急問題得到及時響應(yīng)。

4.實現(xiàn)自動升級與抑制：針對有效報警項，當(dāng)出現(xiàn)嚴(yán)重批量報警時，系統(tǒng)將自動提升其感知能力，確保關(guān)鍵信息不被遺漏；同時，對于冗余或無效報警，系統(tǒng)將自動進行降級處理，抑制其通知頻率，避免造成不必要的干擾。

5.實施報警合并策略：對于相同類型的報警信息，系統(tǒng)將進行智能合并，以減少報警數(shù)量。在設(shè)定的時間窗口內(nèi)，將同一監(jiān)控對象的多次報警合并為一次，提高報警信息的可讀性和處理效率。

6.打造自適應(yīng)報警系統(tǒng)：依托實時數(shù)據(jù)和歷史數(shù)據(jù)，結(jié)合先進的統(tǒng)計分布算法，系統(tǒng)將自動調(diào)整報警閾值，以適應(yīng)系統(tǒng)環(huán)境的不斷變化，確保報警信息的準(zhǔn)確性和有效性。

7.構(gòu)建問題閉環(huán)處理流程：通過與問題處理平臺無縫對接，形成從報警觸發(fā)到問題解決的完整閉環(huán)流程，確保每一個報警都能得到及時、有效的處理，從而提升系統(tǒng)的穩(wěn)定性和可靠性。

四、技術(shù)設(shè)計方案

4.1 告警設(shè)置使用原則

?【建議】控制告警數(shù)量，避免引發(fā)“狼來了”效應(yīng)。

?【強制】當(dāng)告警觸發(fā)時，必須附帶明確的操作指南。

?【建議】對于無需人工干預(yù)的告警規(guī)則，建議直接予以移除。

?【強制】告告警信息中必須包含告警級別、影響范圍及應(yīng)對措施等關(guān)鍵信息。

4.2 告警渠道集成策略

告警中心致力于構(gòu)建一個全面而靈活的報警感知網(wǎng)絡(luò)，集成了多種高效、便捷的告警渠道，包括但不限于：

?郵件通知：利用郵件系統(tǒng)的廣泛覆蓋性和可靠性，確保告警信息能夠準(zhǔn)確無誤地送達至指定接收者。

?京me消息：依托京me平臺的即時通訊能力，實現(xiàn)告警信息的快速傳遞，確保相關(guān)人員能夠第一時間接收到報警通知。

?京me群通知：還有另外一種情況，就是負(fù)責(zé)人不能立馬看到告警，針對這種情況我們可以提前準(zhǔn)備告警群，把告警投入小組的群里，這樣群里的其他同學(xué)也能看到告警，幫負(fù)責(zé)人處理告警或者提醒負(fù)責(zé)人處理告警。

?京me日歷提醒：結(jié)合京me日歷的日程管理功能，將告警信息以日程提醒的方式呈現(xiàn)，為相關(guān)人員提供更為直觀的告警感知體驗。

?電話告警：在緊急情況下，通過電話直接撥打相關(guān)人員手機，確保告警信息能夠以最快速度傳遞至目標(biāo)接收者，實現(xiàn)即時響應(yīng)。

4.3 故障等級與告警設(shè)置策略

在故障管理體系中，明確定義故障的等級至關(guān)重要。除了傳統(tǒng)的基于受損PV/UV、收入等維度來劃分故障等級外，故障的持續(xù)時間同樣是一個不可忽視的關(guān)鍵指標(biāo)。對于一個核心服務(wù)而言，故障的持續(xù)時長將直接影響其最終的影響級別。例如，短時間的瞬時故障可能僅造成輕微影響，而長時間的持續(xù)故障則可能引發(fā)重大業(yè)務(wù)中斷，帶來嚴(yán)重后果。

因此，如何迅速解決故障，實際上也在一定程度上考驗著我們的告警設(shè)置能力。在事故的全生命周期管理中，從發(fā)現(xiàn)到定位，告警都扮演著至關(guān)重要的角色，尤其是故障的初步發(fā)現(xiàn)階段。為了優(yōu)化告警設(shè)置，提升故障處理效率，以下幾點策略可供參考：

?告警分級管理：根據(jù)故障的嚴(yán)重性，將告警劃分為不同的等級，如提示級、預(yù)警級、嚴(yán)重級和災(zāi)難級。這種分級管理有助于相關(guān)人員根據(jù)告警級別快速判斷故障的緊急程度，并采取相應(yīng)的應(yīng)對措施。

?告警原因分類：對告警進行細致的原因分類，如網(wǎng)絡(luò)故障、硬件故障、軟件錯誤等，有助于快速定位故障源頭，減少排查時間。同時，原因分類也為后續(xù)的故障預(yù)防和改進提供了有力支持。

?提供解決方案：每條告警信息中應(yīng)包含初步的解決方案或處理建議，以便相關(guān)人員能夠在接收到告警后，迅速采取行動，遏制故障擴散，降低損失。解決方案可以包括緊急操作步驟、備用系統(tǒng)切換方案、聯(lián)系技術(shù)支持人員等。

4.4 告警收斂抑制與自動升降級策略

告警中心不僅承擔(dān)著即時發(fā)送告警信息的重任，還需對告警記錄進行精細化管理和分析。告警中心會保留每一次告警的通知記錄，并根據(jù)后續(xù)的驗證結(jié)果，對告警進行精準(zhǔn)分類，如有效報警、無效報警、偶發(fā)性報警以及常規(guī)報警等。

為了提升告警管理的效率和準(zhǔn)確性，告警中心會根據(jù)歷史告警的最終處理結(jié)果，智能識別出冗余或無效的告警。對于這些告警，系統(tǒng)將自動采取降級處理措施，有效抑制其通知頻率，從而避免對相關(guān)人員造成不必要的干擾和負(fù)擔(dān)。這種智能收斂抑制機制，有助于減少無效告警的噪音，讓相關(guān)人員能夠更加專注于處理真正重要的告警。

同時，對于歷史上曾經(jīng)出現(xiàn)過的重要或嚴(yán)重報警，告警中心在提供正常通知的基礎(chǔ)上，還具備智能升級的能力。例如，當(dāng)某個告警配置原本使用較為普通的通知方式（如京me通知），但在出現(xiàn)批量惡劣報警且接收人未能及時跟進處理的情況下，系統(tǒng)會自動將該告警升級為更高級別的通知方式，如電話告警（同時可以支持升級為通知相關(guān)上級人員）。這種智能升級策略，能夠確保在緊急情況下，相關(guān)人員能夠迅速接收到告警信息，并采取相應(yīng)的應(yīng)對措施，從而有效遏制故障的擴散和升級。

4.5 告警合并策略

對相同類型的報警信息進行智能識別與合并。在設(shè)定的時間窗口內(nèi)，對于同一監(jiān)控對象觸發(fā)的多次報警，系統(tǒng)將自動進行合并處理，將多條相似的告警信息整合為一條綜合告警。這種合并方式不僅顯著減少了報警數(shù)量，降低了告警信息的冗余度，還使得告警信息更加簡潔明了，易于閱讀和理解。

4.6 自適應(yīng)閾值策略

在監(jiān)控告警領(lǐng)域，閾值設(shè)定一直是一個棘手的問題。傳統(tǒng)的固定閾值方法，雖然簡單易行，但往往難以兼顧精準(zhǔn)告警與減少誤報之間的平衡。閾值設(shè)定過于寬泛，可能遺漏真正的故障問題，導(dǎo)致漏報；而設(shè)定過于保守，則可能引發(fā)大量無效誤報，干擾正常工作。更為復(fù)雜的是，隨著業(yè)務(wù)的不斷發(fā)展，監(jiān)控對象的數(shù)據(jù)波動也會發(fā)生變化，閾值也需要相應(yīng)地進行調(diào)整。

為了解決這一難題，引入了自適應(yīng)閾值策略優(yōu)化方案。該方案的核心在于利用統(tǒng)計分布學(xué)算法，根據(jù)歷史數(shù)據(jù)走向，動態(tài)計算出合理的告警閾值。具體而言，我們可以采用正態(tài)分布或均勻分布等統(tǒng)計模型，對歷史監(jiān)控數(shù)據(jù)進行擬合和分析，從而得出一個能夠反映數(shù)據(jù)波動特性的動態(tài)閾值。

自適應(yīng)閾值策略的優(yōu)勢在于其靈活性和準(zhǔn)確性。由于閾值是根據(jù)歷史數(shù)據(jù)動態(tài)計算得出的，因此能夠隨著業(yè)務(wù)的發(fā)展和數(shù)據(jù)的變化而自動調(diào)整，始終保持對監(jiān)控對象的敏感度和準(zhǔn)確性。同時，該策略還能夠有效減少誤報和漏報的情況，提高告警信息的可靠性和實用性。

在實施自適應(yīng)閾值策略時，我們還需要注意以下幾點：

1.數(shù)據(jù)質(zhì)量：確保歷史數(shù)據(jù)的準(zhǔn)確性和完整性，避免數(shù)據(jù)異常對閾值計算造成干擾。

2.模型選擇：根據(jù)監(jiān)控對象的特性和數(shù)據(jù)分布特點，選擇合適的統(tǒng)計模型進行擬合和分析。

3.閾值調(diào)整：定期對自適應(yīng)閾值進行驗證和調(diào)整，確保其始終符合業(yè)務(wù)需求和運維實際情況。

4.7 告警問題追蹤與閉環(huán)

告警中心通過與問題跟蹤系統(tǒng)的集成，實現(xiàn)了告警從觸發(fā)到解決的全程跟蹤。當(dāng)告警觸發(fā)時，系統(tǒng)會自動將告警信息發(fā)送至問題跟蹤系統(tǒng)，并生成相應(yīng)的問題記錄。值班人員可以在問題跟蹤系統(tǒng)中查看告警詳情、處理進度和解決方案等信息，確保每一個告警都能得到及時、有效的處理。這種告警問題追蹤與閉環(huán)流程，有助于提升系統(tǒng)的穩(wěn)定性和可靠性。

五、優(yōu)秀文獻推薦

關(guān)于線上穩(wěn)定性的構(gòu)建與監(jiān)控報警機制的完善，特此推薦以下幾篇卓越的文獻資料：

外部文獻精選：

1.?《vivo 服務(wù)端監(jiān)控體系建設(shè)實踐》?

2.?《我在服務(wù)監(jiān)控方面的實踐》?

神燈社區(qū)佳作：

1.?《系統(tǒng)穩(wěn)定性之-監(jiān)控報警》?

這些文獻資源將為在構(gòu)建與優(yōu)化線上穩(wěn)定性及監(jiān)控報警體系方面提供寶貴的參考與啟示。

審核編輯 黃宇