廣發(fā)證券以“成為具有國際競爭力、品牌影響力和系統(tǒng)重要性的現(xiàn)代投資銀行”為戰(zhàn)略愿景，秉承“以價值創(chuàng)造成就金融報國之夢”的使命，致力于通過科技創(chuàng)新與國際化布局，打造綜合金融服務(wù)平臺，服務(wù)國家戰(zhàn)略與實(shí)體經(jīng)濟(jì)高質(zhì)量發(fā)展。在此戰(zhàn)略框架下，數(shù)據(jù)中心網(wǎng)絡(luò)作為支撐全球業(yè)務(wù)高效運(yùn)轉(zhuǎn)的基石，其重要性愈發(fā)凸顯。數(shù)據(jù)中心網(wǎng)絡(luò)不僅是踐行“穩(wěn)健經(jīng)營，持續(xù)創(chuàng)新”理念的技術(shù)載體，更是其實(shí)現(xiàn)“科技-金融-產(chǎn)業(yè)”良性循環(huán)、賦能新質(zhì)生產(chǎn)力培育的戰(zhàn)略性支點(diǎn)，為推進(jìn)行業(yè)創(chuàng)新實(shí)踐、構(gòu)建數(shù)字化金融生態(tài)奠定了堅實(shí)基礎(chǔ)。

網(wǎng)絡(luò)運(yùn)維挑戰(zhàn)

廣發(fā)證券經(jīng)過多年的持續(xù)建設(shè)，形成了同城雙活、異地災(zāi)備體系架構(gòu)，并逐漸構(gòu)建分布式多地云化數(shù)據(jù)中心，有力地支撐生產(chǎn)、辦公和管理業(yè)務(wù)的運(yùn)行，但同時，數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備不斷增加，架構(gòu)復(fù)雜化給網(wǎng)絡(luò)運(yùn)維帶來諸多挑戰(zhàn)，傳統(tǒng)網(wǎng)絡(luò)運(yùn)維無法滿足日益增長的網(wǎng)絡(luò)需求。

01 數(shù)據(jù)孤島，檢測不精細(xì)

在日常監(jiān)測中，傳統(tǒng)多個運(yùn)維系統(tǒng)的數(shù)據(jù)相互孤立，數(shù)據(jù)之間缺乏關(guān)聯(lián)性，依賴人工整合分析，另外，傳統(tǒng)SNMP協(xié)議采集精度差（通常5分鐘粒度），難以主動感知網(wǎng)絡(luò)微突發(fā)類異常（亞秒級粒度）。目前數(shù)據(jù)中心包括傳統(tǒng)業(yè)務(wù)網(wǎng)絡(luò)、組播業(yè)務(wù)網(wǎng)絡(luò)、GPU業(yè)務(wù)網(wǎng)絡(luò)等多種組網(wǎng)，而之前多套傳統(tǒng)運(yùn)維系統(tǒng)及多個視圖，存在數(shù)據(jù)孤島，無法統(tǒng)一分析和監(jiān)測，無疑給復(fù)雜的運(yùn)維工作帶來更大的困難。

02 隱患難尋，風(fēng)險缺預(yù)防

目前數(shù)據(jù)中心網(wǎng)絡(luò)既有傳統(tǒng)業(yè)務(wù)，又有組播業(yè)務(wù)，大模型相關(guān)的智算業(yè)務(wù)也在建設(shè)中，業(yè)務(wù)擴(kuò)縮容和網(wǎng)絡(luò)變更頻繁，隨之網(wǎng)絡(luò)中可能存在一些潛在風(fēng)險，例如，數(shù)據(jù)中心網(wǎng)絡(luò)中會采用大量的光模塊，光模塊器件的可靠性遠(yuǎn)低于網(wǎng)絡(luò)設(shè)備硬件本身，運(yùn)維需要系統(tǒng)性地排查網(wǎng)絡(luò)中的風(fēng)險，從根源上減少故障的發(fā)生。

03 路徑不明，鏡像成本高

網(wǎng)絡(luò)流量與業(yè)務(wù)路徑黑盒化，傳統(tǒng)NPM鏡像部署成本高昂卻難以解決數(shù)據(jù)割裂問題。例如，為了業(yè)務(wù)平穩(wěn)運(yùn)行，數(shù)據(jù)中心網(wǎng)絡(luò)普遍采用高可用架構(gòu)設(shè)計，如MLAG和路由ECMP負(fù)載等技術(shù)，卻造成業(yè)務(wù)流量路徑不再唯一。運(yùn)維人員因此只能在所有業(yè)務(wù)流量可能經(jīng)過的設(shè)備上進(jìn)行流量統(tǒng)計，人工逐段定位丟包位置，并且這些動作都必須等待排障窗口期。

數(shù)據(jù)中心網(wǎng)絡(luò)智能運(yùn)維實(shí)踐

廣發(fā)證券堅持以科技金融為重大戰(zhàn)略之一，持續(xù)推進(jìn)數(shù)字化轉(zhuǎn)型。為了更好保障用戶體驗(yàn)，廣發(fā)證券攜手華為，基于iMaster NCE-FabricInsight建設(shè)統(tǒng)一的數(shù)據(jù)中心網(wǎng)絡(luò)智能運(yùn)維平臺，以提升數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維效率。智能運(yùn)維平臺重點(diǎn)圍繞統(tǒng)一可視化、網(wǎng)絡(luò)風(fēng)險預(yù)防、智能化故障定界三個方向展開實(shí)踐。

打造統(tǒng)一數(shù)據(jù)底座，多Fabric統(tǒng)一監(jiān)測

針對多系統(tǒng)數(shù)據(jù)孤島、檢測粒度不精細(xì)等問題，網(wǎng)絡(luò)智能運(yùn)維平臺構(gòu)建了統(tǒng)一的數(shù)據(jù)底座，目前已納管交易區(qū)、非交易區(qū)、互聯(lián)網(wǎng)區(qū)、大數(shù)據(jù)區(qū)、組播私網(wǎng)區(qū)、測試區(qū)等Fabric網(wǎng)絡(luò)，數(shù)據(jù)對象包含網(wǎng)絡(luò)設(shè)備、全網(wǎng)TCP業(yè)務(wù)流的特征報文、關(guān)鍵業(yè)務(wù)流的全包、組播業(yè)務(wù)流等。通過Telemetry技術(shù)實(shí)現(xiàn)多種不同架構(gòu)網(wǎng)絡(luò)指標(biāo)的主動訂閱與亞秒級數(shù)據(jù)上報，監(jiān)測維度更加豐富，包含接口鏈路、隊列緩存、光模塊、配置、表項、丟包檢測等，實(shí)時監(jiān)測全網(wǎng)資源、故障、性能質(zhì)量情況，并通過對接微信平臺統(tǒng)一告警通知。

從被動到主動，網(wǎng)絡(luò)風(fēng)險預(yù)測

防火勝于救火，如何系統(tǒng)性排查網(wǎng)絡(luò)風(fēng)險也是重點(diǎn)課題之一。目前，廣發(fā)證券正在構(gòu)建統(tǒng)一的網(wǎng)絡(luò)主動預(yù)防體系，基于知識圖譜的數(shù)據(jù)底座，進(jìn)行整網(wǎng)風(fēng)險建模與特征智能識別，從組網(wǎng)、路由、設(shè)備板卡、電源、風(fēng)扇、鏈路、光器件等多個維度系統(tǒng)全面地分析網(wǎng)絡(luò)潛在風(fēng)險，識別風(fēng)險原因并提供處理建議，轉(zhuǎn)變傳統(tǒng)被動救火的運(yùn)維模式，降低故障發(fā)生概率，支撐網(wǎng)絡(luò)健康運(yùn)營。

圖1 網(wǎng)絡(luò)健康巡檢大屏

三維立體的流鏡像，應(yīng)用異常智能化定界

廣發(fā)證券正在大力推進(jìn)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的智能化建設(shè)。然而，應(yīng)用質(zhì)量與網(wǎng)絡(luò)流量分析割裂、網(wǎng)絡(luò)路徑呈現(xiàn)黑盒狀態(tài)，網(wǎng)絡(luò)看不清業(yè)務(wù)流量路徑，故障定位困難。若在所有網(wǎng)絡(luò)節(jié)點(diǎn)部署傳統(tǒng)NPM流量鏡像，整體建設(shè)成本高昂，而且依舊無法解決應(yīng)用-網(wǎng)絡(luò)-設(shè)備一體化的數(shù)據(jù)整合與分析，數(shù)據(jù)割裂導(dǎo)致定位時間長、運(yùn)維效率低。

為解決上述問題，廣發(fā)證券通過在網(wǎng)絡(luò)智能運(yùn)維平臺基礎(chǔ)上疊加了xFlow智能全流和xFlow按需抓流技術(shù)，網(wǎng)絡(luò)智能運(yùn)維平臺基于ERSPAN技術(shù)輕量級鏡像整網(wǎng)全部業(yè)務(wù)流的TCP建鏈狀態(tài)，還原業(yè)務(wù)流在網(wǎng)絡(luò)中的真實(shí)轉(zhuǎn)發(fā)路徑，并關(guān)聯(lián)網(wǎng)絡(luò)設(shè)備信息，感知微突發(fā)、丟包等KPI指標(biāo)，實(shí)現(xiàn)“網(wǎng)絡(luò)路況”可視化，就像地圖導(dǎo)航感知每條道路的通行質(zhì)量一樣。繼而，再在網(wǎng)絡(luò)最復(fù)雜、業(yè)務(wù)容易出問題的關(guān)鍵位置（例如防火墻、負(fù)載均衡、關(guān)鍵路由交換設(shè)備前后）部署xFlow全流分析探針，1:1采集業(yè)務(wù)流的全包數(shù)據(jù)，檢測業(yè)務(wù)流傳輸過程中的丟包、時延等關(guān)鍵網(wǎng)絡(luò)性能，實(shí)現(xiàn)分段定界。針對網(wǎng)絡(luò)指標(biāo)有異常的分段，結(jié)合路況信息，可按需在沿途的網(wǎng)絡(luò)設(shè)備上遠(yuǎn)程鏡像，進(jìn)一步縮小分段定界的范圍，分鐘級定位故障點(diǎn)。此方案特點(diǎn)在于：以低成本方案“廣撒網(wǎng)”，在重點(diǎn)區(qū)域“深挖壕”，再結(jié)合設(shè)備協(xié)同完成“按需補(bǔ)位”，構(gòu)建立體化、多層次的流分析體系。

圖2 業(yè)務(wù)質(zhì)差問題排障邏輯

下一步發(fā)展展望

當(dāng)前，網(wǎng)絡(luò)智能運(yùn)維平臺以“數(shù)據(jù)+算法”為驅(qū)動，實(shí)現(xiàn)了數(shù)據(jù)一體化分析，顯著提升了網(wǎng)絡(luò)運(yùn)維的效率。后續(xù)，廣發(fā)證券一方面將在智能計算、證券組播行情交易、大模型等網(wǎng)絡(luò)建設(shè)運(yùn)維領(lǐng)域持續(xù)探索，另一方面將聚焦應(yīng)用體驗(yàn)保障，推動運(yùn)維模式從以網(wǎng)絡(luò)設(shè)備為中心向以應(yīng)用體驗(yàn)為中心轉(zhuǎn)變，構(gòu)建應(yīng)用質(zhì)量主動保障體系，以新質(zhì)生產(chǎn)力賦能智能運(yùn)維，提升金融業(yè)務(wù)服務(wù)體驗(yàn)，為金融創(chuàng)新做出新的貢獻(xiàn)。