以數(shù)字化技術(shù)和能源互聯(lián)網(wǎng)理念為驅(qū)動(dòng)的“數(shù)字新基建”對(duì)現(xiàn)有調(diào)度自動(dòng)化系統(tǒng)的數(shù)字化轉(zhuǎn)型提出新的挑戰(zhàn)，該文考慮調(diào)控?cái)?shù)據(jù)存儲(chǔ)規(guī)模、數(shù)據(jù)加工復(fù)雜度和數(shù)據(jù)服務(wù)多樣化的需求，提出電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)的體系架構(gòu)。在此基礎(chǔ)上，研究了多源調(diào)控?cái)?shù)據(jù)集成與融合、異構(gòu)數(shù)據(jù)庫(kù)分層統(tǒng)一存儲(chǔ)、調(diào)控?cái)?shù)據(jù)資產(chǎn)管理、大數(shù)據(jù)算法引擎等關(guān)鍵技術(shù)，實(shí)現(xiàn)全業(yè)務(wù)、全場(chǎng)景的電網(wǎng)調(diào)控?cái)?shù)據(jù)匯集、加工和資產(chǎn)管理。該技術(shù)方案為調(diào)控云智能分析應(yīng)用提供了存儲(chǔ)、數(shù)據(jù)和算法的有力支撐。

　　0 引言

　　電網(wǎng)調(diào)度自動(dòng)化系統(tǒng)作為電網(wǎng)運(yùn)行的重要技術(shù)支撐，伴隨著三代電網(wǎng)的發(fā)展而不斷完善［1］，系統(tǒng)建設(shè)也從引進(jìn)消化逐步發(fā)展為全面國(guó)產(chǎn)化，經(jīng)過(guò)多年運(yùn)行積累了豐富詳實(shí)的數(shù)據(jù)資源。然而，煙囪型的建設(shè)模式使這些數(shù)據(jù)分散在不同調(diào)度機(jī)構(gòu)、不同專業(yè)、不同安全區(qū)，存在系統(tǒng)獨(dú)立維護(hù)、數(shù)據(jù)類型多樣、統(tǒng)一決策困難等問(wèn)題［2］，當(dāng)前依托于確定性公式、模型、參數(shù)及孤立式數(shù)據(jù)的電網(wǎng)分析模式，將難于應(yīng)對(duì)特高壓交直流混聯(lián)大電網(wǎng)運(yùn)行風(fēng)險(xiǎn)不斷累積、新能源消納矛盾突出、市場(chǎng)化改革快速推進(jìn)等諸多挑戰(zhàn)。

　　近年來(lái)，隨著計(jì)算能力提升、數(shù)據(jù)爆發(fā)增長(zhǎng)、機(jī)器學(xué)習(xí)算法進(jìn)步、投資力度加大，大數(shù)據(jù)技術(shù)迎來(lái)了繁榮時(shí)期，在引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革中扮演著重要角色，受到各國(guó)政府、學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注［3］。大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)、云計(jì)算技術(shù)共同為電網(wǎng)調(diào)控領(lǐng)域的再次創(chuàng)新提供了推動(dòng)力。大數(shù)據(jù)思維將各種數(shù)據(jù)資源從簡(jiǎn)單的處理對(duì)象轉(zhuǎn)變?yōu)樯a(chǎn)的基礎(chǔ)要素，與大能源思維融合為大能源系統(tǒng)廣泛互聯(lián)、開放互動(dòng)及高度智能提供有力支撐。大數(shù)據(jù)技術(shù)［4-5］涵蓋了從信息產(chǎn)生、采集、存儲(chǔ)、轉(zhuǎn)換、集成、挖掘分析等全生命周期，需要具備從不同類型的多源異構(gòu)數(shù)據(jù)中，快速提煉出有價(jià)值信息的能力。

　　電力大數(shù)據(jù)既是“AI+電力”的重要基礎(chǔ)［6-9］，也是銜接智能電網(wǎng)與人工智能應(yīng)用的橋梁。電力系統(tǒng)擁有來(lái)自能量管理系統(tǒng)（energy management system，EMS）、調(diào)度管理系統(tǒng)（operation management system，OMS）、生產(chǎn)管理系統(tǒng)（production management system，PMS）、廣域監(jiān)測(cè)系統(tǒng)（wide area measurement system，WAMS）、配電管理系統(tǒng)（distribution management system，DMS）、電能量計(jì)量系統(tǒng)（tele-meter reading system，TMR）、地理信息系統(tǒng)（geographic information system，GIS）等多個(gè)業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具備大數(shù)據(jù)的規(guī)模大、數(shù)據(jù)多樣、價(jià)值密度低和高速性等特性，智能電網(wǎng)大數(shù)據(jù)技術(shù)研究已廣泛開展，其中包括針對(duì)電網(wǎng)調(diào)控領(lǐng)域特定場(chǎng)景的大數(shù)據(jù)平臺(tái)及應(yīng)用研究［10-14］，實(shí)踐成果展現(xiàn)了大數(shù)據(jù)在存儲(chǔ)、計(jì)算、分析挖掘等方面的技術(shù)優(yōu)勢(shì)。但已有研究成果多從單一或特定場(chǎng)景構(gòu)建大數(shù)據(jù)挖掘分析，未從支撐調(diào)控全景數(shù)據(jù)接入、數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一、數(shù)據(jù)共建共享和調(diào)控業(yè)務(wù)分析的角度考慮大數(shù)據(jù)平臺(tái)的體系架構(gòu)與支撐能力建設(shè)［15-16］。隨著以新能源為主體的新型電力系統(tǒng)建設(shè)開展，調(diào)度運(yùn)行對(duì)擴(kuò)展數(shù)據(jù)管理的范疇，以及提升數(shù)據(jù)深度應(yīng)用支撐能力提出了新的需求，而當(dāng)前調(diào)控運(yùn)行信息分布分散、數(shù)據(jù)分析挖掘深度不夠，還存在數(shù)據(jù)存儲(chǔ)時(shí)間長(zhǎng)短不一、缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)以及缺少調(diào)控領(lǐng)域挖掘算法等問(wèn)題［17］。調(diào)控云平臺(tái)是解決上述問(wèn)題的一種可行方法，其總體架構(gòu)指出需要突破的模型數(shù)據(jù)平臺(tái)、運(yùn)行數(shù)據(jù)平臺(tái)、實(shí)時(shí)數(shù)據(jù)平臺(tái)和大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)［17］。其中大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析挖掘等功能，為大數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等提供統(tǒng)一的平臺(tái)支撐。

　　為充分發(fā)揮調(diào)控全景數(shù)據(jù)資源優(yōu)勢(shì)，實(shí)現(xiàn)調(diào)控業(yè)務(wù)精益管理，本文結(jié)合調(diào)控云“資源虛擬化、數(shù)據(jù)標(biāo)準(zhǔn)化、應(yīng)用服務(wù)化”的調(diào)度信息化支撐體系［17］，從支撐調(diào)度智能分析、驅(qū)動(dòng)業(yè)務(wù)發(fā)展的角度，對(duì)調(diào)控云中大數(shù)據(jù)平臺(tái)的總體架構(gòu)設(shè)計(jì)展開論述，并詳細(xì)闡述了大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)，為后續(xù)大數(shù)據(jù)技術(shù)在電網(wǎng)調(diào)控領(lǐng)域的研究與發(fā)展提供了有益參考。

　　1 系統(tǒng)總體架構(gòu)1.1 體系架構(gòu)

　　調(diào)度自動(dòng)化系統(tǒng)既是工業(yè)控制系統(tǒng)，也屬傳統(tǒng)意義上的信息化系統(tǒng)，具有雙重屬性。為實(shí)現(xiàn)未來(lái)強(qiáng)耦合互聯(lián)電網(wǎng)的全業(yè)務(wù)場(chǎng)景支撐，未來(lái)新一代調(diào)度自動(dòng)化主站系統(tǒng)將過(guò)渡到雙平臺(tái)模式，由生產(chǎn)控制平臺(tái)與調(diào)控云平臺(tái)組成“一體兩翼”，形成“雙輪驅(qū)動(dòng)”的應(yīng)用態(tài)勢(shì)。生產(chǎn)控制平臺(tái)繼承智能電網(wǎng)調(diào)度控制系統(tǒng)（D5000）成果，服務(wù)于“雙高”電網(wǎng)一體化運(yùn)行控制目標(biāo)，有效支撐“綠色低碳、安全高效”能源體系運(yùn)轉(zhuǎn)。調(diào)控云是面向電網(wǎng)調(diào)度業(yè)務(wù)的云服務(wù)平臺(tái)，其PaaS層數(shù)據(jù)平臺(tái)細(xì)分為模型數(shù)據(jù)平臺(tái)、運(yùn)行數(shù)據(jù)平臺(tái)、實(shí)時(shí)數(shù)據(jù)平臺(tái)、大數(shù)據(jù)平臺(tái)和人工智能平臺(tái)等5個(gè)部分。其中大數(shù)據(jù)平臺(tái)是調(diào)控海量數(shù)據(jù)管理與數(shù)據(jù)服務(wù)中心，一方面實(shí)現(xiàn)海量數(shù)據(jù)的匯集與存儲(chǔ)，另一方面實(shí)現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)分析挖掘等功能，將數(shù)據(jù)資源進(jìn)行資產(chǎn)化，通過(guò)數(shù)據(jù)服務(wù)的形式實(shí)現(xiàn)數(shù)據(jù)共享共用。大數(shù)據(jù)平臺(tái)在調(diào)控云的功能定位如圖 1所示，大數(shù)據(jù)平臺(tái)構(gòu)建于基礎(chǔ)資源和公共組件之上，與模型數(shù)據(jù)平臺(tái)、運(yùn)行數(shù)據(jù)平臺(tái)和實(shí)時(shí)數(shù)據(jù)平臺(tái)之間存在約束關(guān)系，為人工智能平臺(tái)提供數(shù)據(jù)、樣本和計(jì)算環(huán)境，通過(guò)數(shù)據(jù)服務(wù)支撐大數(shù)據(jù)應(yīng)用。

　　圖 1 大數(shù)據(jù)平臺(tái)在調(diào)控云的功能定位Fig. 1 Logic structure of the big data platform in dispatching and control cloud

　　1.2 數(shù)據(jù)特點(diǎn)

　　智能電網(wǎng)大數(shù)據(jù)按數(shù)據(jù)來(lái)源分為電網(wǎng)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，按結(jié)構(gòu)化特征分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，按時(shí)變性分為靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)，其中動(dòng)態(tài)數(shù)據(jù)按采樣頻率和生命周期覆蓋從微秒級(jí)到年度級(jí)［18-19］。智能電網(wǎng)大數(shù)據(jù)具有來(lái)源分散、數(shù)據(jù)量大、種類多、價(jià)值大的特征。

　　調(diào)控大數(shù)據(jù)平臺(tái)管理的數(shù)據(jù)涵蓋智能電網(wǎng)大數(shù)據(jù)，為適應(yīng)以新能源為主體的新型電力系統(tǒng)發(fā)展要求，還需要在此基礎(chǔ)上將數(shù)據(jù)的范圍擴(kuò)展到跨電網(wǎng)層級(jí)，將數(shù)據(jù)種類擴(kuò)展到負(fù)荷側(cè)資源、一次能源、二次設(shè)備和外部環(huán)境，以清晰描述和呈現(xiàn)電網(wǎng)空間特性，提供電力系統(tǒng)運(yùn)行控制和計(jì)算分析的數(shù)據(jù)環(huán)境。

　　調(diào)控大數(shù)據(jù)平臺(tái)管理的數(shù)據(jù)種類覆蓋傳感測(cè)量、計(jì)算產(chǎn)生的自動(dòng)化運(yùn)行數(shù)據(jù)、調(diào)度管理產(chǎn)生的各類管理信息和能量交易產(chǎn)生的市場(chǎng)交易數(shù)據(jù)等。自動(dòng)化運(yùn)行數(shù)據(jù)主要包括廠站電氣量、設(shè)備開關(guān)量、外部環(huán)境、一次能源、可控負(fù)荷、廠站非電氣量以及衍生的各類指標(biāo)、標(biāo)簽等等。廠站電氣量主要包括發(fā)電廠、變電站、開關(guān)站、換流站電氣設(shè)備的電壓、電流、有功、無(wú)功、頻率等，對(duì)象范圍將擴(kuò)展分布式電源、虛擬電廠等各類新型數(shù)據(jù)對(duì)象；設(shè)備開關(guān)量包括斷路器、刀閘、接地刀閘，擴(kuò)展到繼電保護(hù)、系統(tǒng)保護(hù)、安控裝置、通信設(shè)備、自動(dòng)化設(shè)備等；外部環(huán)境包括雷電、線路覆冰、山火，擴(kuò)展到溫度、風(fēng)力、降雨（雪）、臺(tái)風(fēng)、地震；一次能源數(shù)據(jù)新增煤炭、天然氣、風(fēng)能、太陽(yáng)能、水能相關(guān)信息；可控負(fù)荷新增電動(dòng)汽車、充電樁、空調(diào)、電采暖、大工業(yè)用戶負(fù)荷、蓄能鍋爐和儲(chǔ)能等；廠站非電氣量包括變壓器抽頭、變壓器油溫、發(fā)電環(huán)保數(shù)據(jù)，擴(kuò)展網(wǎng)安信息。管理信息主要包括發(fā)電計(jì)劃、停電計(jì)劃、輸電計(jì)劃、資產(chǎn)數(shù)據(jù)、技術(shù)標(biāo)準(zhǔn)、全業(yè)務(wù)流程以及各類報(bào)表等等，可擴(kuò)展基建施工、設(shè)備巡視、營(yíng)銷服務(wù)等信息。市場(chǎng)交易數(shù)據(jù)主要包括交易電價(jià)、交易計(jì)劃、合同信息等等。

　　根據(jù)上述調(diào)控大數(shù)據(jù)范疇可知，調(diào)控大數(shù)據(jù)平臺(tái)存儲(chǔ)管理的數(shù)據(jù)需要兼顧自動(dòng)化運(yùn)行數(shù)據(jù)、管理信息和市場(chǎng)交易數(shù)據(jù)特征，對(duì)應(yīng)的系統(tǒng)功能兼具工業(yè)自動(dòng)化系統(tǒng)、管理信息系統(tǒng)和金融系統(tǒng)的特性，對(duì)調(diào)控大數(shù)據(jù)平臺(tái)提出技術(shù)挑戰(zhàn)。此外，為適應(yīng)“統(tǒng)一管理、分級(jí)調(diào)度”的調(diào)度管理模式，調(diào)控大數(shù)據(jù)基于兩級(jí)大數(shù)據(jù)平臺(tái)分布存儲(chǔ)，對(duì)調(diào)控大數(shù)據(jù)平臺(tái)的數(shù)據(jù)統(tǒng)一管理和共享共用也提出了相應(yīng)的技術(shù)要求。

　　1.3 部署模式

　　在部署模式上，大數(shù)據(jù)平臺(tái)遵循調(diào)控云總體架構(gòu)設(shè)計(jì)，采用主導(dǎo)、協(xié)同節(jié)點(diǎn)兩級(jí)部署方式，其部署結(jié)構(gòu)如圖 2所示。其中主導(dǎo)節(jié)點(diǎn)（國(guó)分大數(shù)據(jù)平臺(tái)）部署220kV以上主網(wǎng)模型數(shù)據(jù)及運(yùn)行數(shù)據(jù)匯集處理，實(shí)現(xiàn)大數(shù)據(jù)匯集、處理及分析挖掘，并擔(dān)負(fù)全網(wǎng)調(diào)控?cái)?shù)據(jù)資產(chǎn)統(tǒng)一管理角色；協(xié)同節(jié)點(diǎn)（省級(jí)大數(shù)據(jù)平臺(tái)）部署省調(diào)管轄范圍內(nèi)全網(wǎng)模型并實(shí)現(xiàn)對(duì)應(yīng)運(yùn)行數(shù)據(jù)匯集、處理及分析挖掘，并遵從調(diào)控?cái)?shù)據(jù)資產(chǎn)管理要求。兩級(jí)大數(shù)據(jù)平臺(tái)通過(guò)資源高速同步網(wǎng)部署統(tǒng)一的運(yùn)行數(shù)據(jù)服務(wù)以實(shí)現(xiàn)不同電壓等級(jí)運(yùn)行數(shù)據(jù)的透明共享，確保在主導(dǎo)節(jié)點(diǎn)和協(xié)同節(jié)點(diǎn)均能獲取到全網(wǎng)全電壓等級(jí)運(yùn)行數(shù)據(jù)。

　　圖 2 電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)部署示意圖Fig. 2 Deployment of regulate big data platform

　　1.4 軟件架構(gòu)

　　電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)軟件功能上的基礎(chǔ)組件與工業(yè)大數(shù)據(jù)相關(guān)行業(yè)類似，但適應(yīng)電網(wǎng)“統(tǒng)一管理、分級(jí)調(diào)度”的特點(diǎn)、數(shù)據(jù)分散采集的特點(diǎn)，以及遵循調(diào)控云架構(gòu)“資源虛擬化、數(shù)據(jù)標(biāo)準(zhǔn)化、應(yīng)用服務(wù)化”的要求，技術(shù)功能上更側(cè)重?cái)?shù)據(jù)的統(tǒng)一管理和服務(wù)的共建共享。大數(shù)據(jù)平臺(tái)一方面實(shí)現(xiàn)電網(wǎng)海量數(shù)據(jù)的匯集與存儲(chǔ)，實(shí)現(xiàn)物理分布、邏輯統(tǒng)一的數(shù)據(jù)管理；另一方面實(shí)現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)分析挖掘等功能，將數(shù)據(jù)進(jìn)行資產(chǎn)化，并通過(guò)數(shù)據(jù)服務(wù)的形式實(shí)現(xiàn)數(shù)據(jù)共享共用。

　　大數(shù)據(jù)平臺(tái)主導(dǎo)與協(xié)同節(jié)點(diǎn)的技術(shù)路線一致，本文重點(diǎn)從國(guó)分大數(shù)據(jù)平臺(tái)角度介紹。大數(shù)據(jù)平臺(tái)軟件體系架構(gòu)如圖 3所示，按照“存、通、用”的設(shè)計(jì)思路，結(jié)合調(diào)控運(yùn)行和管理業(yè)務(wù)數(shù)據(jù)特點(diǎn)及應(yīng)用需求，在Hadoop等基礎(chǔ)組件之上，從數(shù)據(jù)處理角度將大數(shù)據(jù)平臺(tái)功能分為數(shù)據(jù)匯集、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)3層，以及數(shù)據(jù)管理和數(shù)理方法等支撐功能。

　　圖 3 電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)的體系架構(gòu)Fig. 3 Technology architecture of the regulate big data platform

　　數(shù)據(jù)匯集面向廣域分布式業(yè)務(wù)系統(tǒng)，通過(guò)消息總線匯集來(lái)自SCADA、OMS、PMS、DMS、WAMS、TMR、GIS、調(diào)度計(jì)劃、負(fù)荷預(yù)測(cè)、綜合智能告警、現(xiàn)貨市場(chǎng)技術(shù)支持系統(tǒng)、數(shù)值天氣預(yù)報(bào)、二次設(shè)備監(jiān)視等多種廣域異構(gòu)源系統(tǒng)的調(diào)控?cái)?shù)據(jù)，通過(guò)數(shù)據(jù)交換方式匯集來(lái)自政府、氣象、公共服務(wù)部門、商業(yè)機(jī)構(gòu)、電力市場(chǎng)成員和互聯(lián)網(wǎng)的調(diào)控中心外部數(shù)據(jù)，技術(shù)上通過(guò)流式采集或者ELT（抽取、加載、轉(zhuǎn)換）工具完成數(shù)據(jù)同步。

　　數(shù)據(jù)加工將匯集存儲(chǔ)的原生數(shù)據(jù)通過(guò)算法加工、計(jì)算、聚合形成可讀取、更具有使用價(jià)值的數(shù)據(jù)，典型調(diào)控?cái)?shù)據(jù)加工結(jié)果包括統(tǒng)計(jì)特征值、指標(biāo)數(shù)據(jù)、標(biāo)簽數(shù)據(jù)，例如發(fā)電有功功率日最大值、日最小值，線路年可用率、發(fā)電機(jī)年利用小時(shí)數(shù)、預(yù)測(cè)準(zhǔn)確率、計(jì)劃執(zhí)行偏差率等等。

　　數(shù)據(jù)服務(wù)通過(guò)國(guó)分、省級(jí)大數(shù)據(jù)平臺(tái)的統(tǒng)一數(shù)據(jù)服務(wù)接口將大數(shù)據(jù)平臺(tái)存儲(chǔ)管理的各類數(shù)據(jù)提供給上層應(yīng)用，以自助式數(shù)據(jù)分析建立數(shù)據(jù)價(jià)值應(yīng)用生態(tài)，促進(jìn)數(shù)據(jù)內(nèi)增值、外增效，為高效互動(dòng)、智能開放的能源互聯(lián)網(wǎng)調(diào)度管理提供技術(shù)支撐。

　　此外，為解決調(diào)控大數(shù)據(jù)缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)等問(wèn)題，配置數(shù)據(jù)管理功能，實(shí)現(xiàn)兩級(jí)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)統(tǒng)一管理。數(shù)據(jù)管理建立涵蓋數(shù)據(jù)資產(chǎn)規(guī)劃、數(shù)據(jù)資源目錄、數(shù)據(jù)資產(chǎn)目錄等功能的數(shù)據(jù)資產(chǎn)管理體系，實(shí)現(xiàn)數(shù)據(jù)分布感知、價(jià)值激活和價(jià)值評(píng)估的統(tǒng)一管理，同時(shí)具備數(shù)據(jù)檢測(cè)、計(jì)算管理、主題管理、數(shù)倉(cāng)目錄和數(shù)據(jù)血緣等功能，提高多源、多類型、多調(diào)控對(duì)象在各級(jí)調(diào)控中心的匯集和加工效率，實(shí)現(xiàn)物理分布、邏輯統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)化。為支持?jǐn)?shù)據(jù)深度分析挖掘，配置豐富的數(shù)理方法，支持涵蓋數(shù)理統(tǒng)計(jì)、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的上百種調(diào)控通用和專用算法。

　　2 電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)

　　調(diào)控大數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù)包括多源調(diào)控?cái)?shù)據(jù)集成與融合技術(shù)、異構(gòu)數(shù)據(jù)庫(kù)分層統(tǒng)一存儲(chǔ)技術(shù)、面向調(diào)控對(duì)象的調(diào)控?cái)?shù)據(jù)資產(chǎn)管理技術(shù)和面向業(yè)務(wù)分析的數(shù)理方法引擎等。

　　2.1 多源調(diào)控?cái)?shù)據(jù)集成與融合技術(shù)

　　為實(shí)現(xiàn)電網(wǎng)調(diào)度信息的全局統(tǒng)一規(guī)劃，實(shí)現(xiàn)跨專業(yè)、跨調(diào)度機(jī)構(gòu)的數(shù)據(jù)共享，調(diào)控云建立了電力調(diào)度通用數(shù)據(jù)對(duì)象結(jié)構(gòu)化設(shè)計(jì)機(jī)制［20］，確立了對(duì)象ID編碼規(guī)則、元數(shù)據(jù)建模規(guī)則。本文結(jié)合電力調(diào)度通用數(shù)據(jù)對(duì)象結(jié)構(gòu)化設(shè)計(jì)方法，設(shè)計(jì)調(diào)控?cái)?shù)據(jù)編碼、多源數(shù)據(jù)匯集、多源數(shù)據(jù)質(zhì)量和異構(gòu)調(diào)控信息融合方法，解決海量調(diào)控?cái)?shù)據(jù)標(biāo)準(zhǔn)化管理、數(shù)據(jù)全面匯集和數(shù)據(jù)共建共享問(wèn)題。

　　2.1.1 調(diào)控?cái)?shù)據(jù)編碼

　　大數(shù)據(jù)平臺(tái)管理了海量的調(diào)控?cái)?shù)據(jù)，既包括電網(wǎng)模型數(shù)據(jù)，也包括電網(wǎng)運(yùn)行數(shù)據(jù)、文資數(shù)據(jù)和知識(shí)數(shù)據(jù)。截止到2021年5月，國(guó)分大數(shù)據(jù)平臺(tái)管理的數(shù)據(jù)量已達(dá)到1.46萬(wàn)億條，數(shù)據(jù)規(guī)模超過(guò)2000萬(wàn)個(gè)，數(shù)據(jù)種類超過(guò)600個(gè)，其具有多源異構(gòu)、規(guī)模大、更新速度快、價(jià)值密度低且時(shí)間序列性強(qiáng)的特點(diǎn)，傳統(tǒng)數(shù)據(jù)處理技術(shù)難以滿足應(yīng)用對(duì)數(shù)據(jù)進(jìn)行多維度分析的需求。針對(duì)調(diào)控?cái)?shù)據(jù)大量來(lái)自終端設(shè)備采集和派生的特點(diǎn)，本文在電力調(diào)度通用數(shù)據(jù)對(duì)象ID編碼的基礎(chǔ)之上設(shè)計(jì)了一種調(diào)控?cái)?shù)據(jù)組合編碼方法，實(shí)現(xiàn)更為精細(xì)的調(diào)控?cái)?shù)據(jù)建模。調(diào)控?cái)?shù)據(jù)編碼表示為四元組 《 對(duì)象類編碼，對(duì)象編碼，數(shù)據(jù)管理機(jī)構(gòu)代碼，數(shù)據(jù)編碼 》 ，其中對(duì)象類編碼對(duì)應(yīng)電力調(diào)度通用數(shù)據(jù)對(duì)象ID的4位“大類碼”、“小類碼”，對(duì)象編碼對(duì)應(yīng)電力調(diào)度通用數(shù)據(jù)對(duì)象的ID，數(shù)據(jù)管理機(jī)構(gòu)代碼對(duì)應(yīng)電力調(diào)度通用數(shù)據(jù)對(duì)象結(jié)構(gòu)化設(shè)計(jì)的數(shù)據(jù)管理機(jī)構(gòu)代碼，數(shù)據(jù)編碼是8位全局唯一類型編碼。

　　典型的調(diào)控?cái)?shù)據(jù)編碼如表 1所示。大數(shù)據(jù)平臺(tái)處理的數(shù)據(jù)以電網(wǎng)一次設(shè)備運(yùn)行數(shù)據(jù)為主，也包括設(shè)備的參數(shù)數(shù)據(jù)、環(huán)境數(shù)據(jù)、操作數(shù)據(jù)，以及交易數(shù)據(jù)、社會(huì)經(jīng)濟(jì)數(shù)據(jù)等等，調(diào)控?cái)?shù)據(jù)編碼可以精確表述上述調(diào)控?cái)?shù)據(jù)更細(xì)粒度的物理含義，且調(diào)控?cái)?shù)據(jù)編碼在兩級(jí)大數(shù)據(jù)平臺(tái)之間充分共享，保證了兩級(jí)大數(shù)據(jù)平臺(tái)之間數(shù)據(jù)定義的一致性，為實(shí)現(xiàn)多級(jí)調(diào)控中心全域數(shù)據(jù)統(tǒng)一建模奠定了基礎(chǔ)。調(diào)控?cái)?shù)據(jù)編碼按照上述四元組的規(guī)則編制和擴(kuò)展，新增調(diào)控?cái)?shù)據(jù)類別時(shí)，依據(jù)新增數(shù)據(jù)對(duì)象的對(duì)象類編碼和數(shù)據(jù)對(duì)象編碼進(jìn)行擴(kuò)充，即可形成新的數(shù)據(jù)編碼，具有良好的可擴(kuò)展性。隨著業(yè)務(wù)發(fā)展存量調(diào)控?cái)?shù)據(jù)不再匯集管理時(shí)，可將對(duì)應(yīng)數(shù)據(jù)歸檔，同時(shí)該調(diào)控?cái)?shù)據(jù)編碼狀態(tài)置為當(dāng)前無(wú)效，該機(jī)制為調(diào)控?cái)?shù)據(jù)的全生命周期管理提供支持。

　　2.1.2 多源數(shù)據(jù)匯集技術(shù)

　　電力系統(tǒng)的海量數(shù)據(jù)集成技術(shù)已得到應(yīng)用，例如電力營(yíng)銷系統(tǒng)數(shù)據(jù)集成、特高壓電網(wǎng)調(diào)度自動(dòng)化系統(tǒng)數(shù)據(jù)集成和配電網(wǎng)規(guī)劃數(shù)據(jù)集成等［21-23］。

　　大數(shù)據(jù)平臺(tái)采用廣域分布式部署架構(gòu)，數(shù)據(jù)取自SCADA、OMS、TMR等等多類源端調(diào)控系統(tǒng)以及調(diào)控云上的各類業(yè)務(wù)應(yīng)用。運(yùn)行數(shù)據(jù)源端部署于國(guó)調(diào)、網(wǎng)調(diào)、省調(diào)、地調(diào)以及外部系統(tǒng)接口端等，數(shù)據(jù)主要采用基于消息的多源數(shù)據(jù)分布式匯集方法，定義電力、電量、計(jì)劃、預(yù)測(cè)、氣象、告警、事件等各類數(shù)據(jù)的消息報(bào)文規(guī)范，并基于調(diào)控云廣域消息總線完成分布式數(shù)據(jù)匯集。運(yùn)行數(shù)據(jù)源端和大數(shù)據(jù)平臺(tái)的基礎(chǔ)模型均取自模型數(shù)據(jù)平臺(tái)，由運(yùn)行數(shù)據(jù)源端管理ID映射表，映射到源端調(diào)控系統(tǒng)的模型對(duì)象ID。在發(fā)送數(shù)據(jù)時(shí)，運(yùn)行數(shù)據(jù)源端通過(guò)ID映射表讀取源端調(diào)控系統(tǒng)對(duì)象數(shù)據(jù)并按照映射的云端對(duì)象ID上送至大數(shù)據(jù)平臺(tái)。截止到2021年5月，調(diào)控大數(shù)據(jù)平臺(tái)已經(jīng)部署的運(yùn)行數(shù)據(jù)源端已超過(guò)20種、300個(gè)。為保證數(shù)據(jù)匯集的可靠性和實(shí)時(shí)性，大數(shù)據(jù)平臺(tái)融合KAFKA和FLINK等流計(jì)算技術(shù)，建立多消費(fèi)者實(shí)例負(fù)載均衡等技術(shù)提高數(shù)據(jù)吞吐能力、可靠性和實(shí)時(shí)性。并針對(duì)廣域環(huán)境下通訊中斷或流程銜接不緊密導(dǎo)致數(shù)據(jù)斷流的風(fēng)險(xiǎn)，進(jìn)一步建立數(shù)據(jù)補(bǔ)發(fā)、補(bǔ)召機(jī)制，對(duì)特定時(shí)間點(diǎn)數(shù)據(jù)進(jìn)行源端補(bǔ)發(fā)或者云端補(bǔ)召?？紤]數(shù)據(jù)準(zhǔn)確性和可靠性要求，大數(shù)據(jù)平臺(tái)采用多源機(jī)制，針對(duì)重要一次設(shè)備的電力電量數(shù)據(jù)等由國(guó)網(wǎng)省多個(gè)源端系統(tǒng)采集及存儲(chǔ)。

　　2.1.3 多源數(shù)據(jù)質(zhì)量管理技術(shù)

　　能否實(shí)現(xiàn)數(shù)據(jù)到信息的挖掘，與數(shù)據(jù)質(zhì)量密切相關(guān)。MIT等機(jī)構(gòu)對(duì)數(shù)據(jù)質(zhì)量管理開展了多項(xiàng)研究［24-26］，國(guó)內(nèi)也有學(xué)者開展了電力數(shù)據(jù)質(zhì)量表征、評(píng)估和提升技術(shù)研究［27-30］，大數(shù)據(jù)平臺(tái)在此基礎(chǔ)之上針對(duì)電網(wǎng)調(diào)控?cái)?shù)據(jù)特點(diǎn)對(duì)數(shù)據(jù)檢測(cè)與清洗技術(shù)進(jìn)一步優(yōu)化。在數(shù)據(jù)檢測(cè)環(huán)節(jié)中，根據(jù)電網(wǎng)運(yùn)行數(shù)據(jù)的特點(diǎn)對(duì)數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行分類，依據(jù)數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性等質(zhì)量檢測(cè)維度，針對(duì)每類質(zhì)量問(wèn)題定制質(zhì)量診斷方法，并根據(jù)現(xiàn)有的問(wèn)題和特征，預(yù)測(cè)未來(lái)的數(shù)據(jù)質(zhì)量問(wèn)題。在數(shù)據(jù)清洗環(huán)節(jié)，根據(jù)電網(wǎng)運(yùn)行數(shù)據(jù)多源異構(gòu)、規(guī)模大、更新速度快、價(jià)值密度低且時(shí)間序列性強(qiáng)的特點(diǎn)，完成全網(wǎng)多源數(shù)據(jù)處理、缺失值處理、異常值處理、合理值處理，并完成質(zhì)量治理反饋。

　　全網(wǎng)多源數(shù)據(jù)處理策略是根據(jù)運(yùn)行數(shù)據(jù)關(guān)聯(lián)的電力調(diào)度數(shù)據(jù)對(duì)象所屬調(diào)度管轄權(quán)默認(rèn)選取，并在默認(rèn)數(shù)據(jù)源數(shù)據(jù)質(zhì)量異常時(shí)，自動(dòng)選擇其他正常數(shù)據(jù)源的數(shù)據(jù)。例如省級(jí)調(diào)度機(jī)構(gòu)調(diào)管對(duì)象的數(shù)據(jù)優(yōu)先選擇對(duì)應(yīng)來(lái)自省級(jí)數(shù)據(jù)管理機(jī)構(gòu)的數(shù)據(jù)序列，當(dāng)省級(jí)數(shù)據(jù)管理機(jī)構(gòu)數(shù)據(jù)異常時(shí)選擇國(guó)調(diào)或網(wǎng)調(diào)數(shù)據(jù)源。

　　缺失值處理采用均值或中位數(shù)等統(tǒng)計(jì)特征量替代、人工神經(jīng)網(wǎng)絡(luò)或決策樹等機(jī)器學(xué)習(xí)方法補(bǔ)充方式處理，并在數(shù)據(jù)質(zhì)量位中標(biāo)記，便于人工干預(yù)修正。缺失值處理策略適用于調(diào)控?cái)?shù)據(jù)中的典型連續(xù)型數(shù)值序列，例如電力電量的采集計(jì)算值、計(jì)劃數(shù)據(jù)及預(yù)測(cè)數(shù)據(jù)等。

　　異常值處理針對(duì)由于人工錯(cuò)誤、數(shù)據(jù)采集設(shè)備故障、通信信道故障或其他因素導(dǎo)致的和數(shù)據(jù)樣本偏離正常值的問(wèn)題進(jìn)行修正。大數(shù)據(jù)平臺(tái)設(shè)計(jì)監(jiān)督式、非監(jiān)督式和半監(jiān)督式3類方式實(shí)現(xiàn)異常值處理。監(jiān)督式由專家對(duì)異常數(shù)據(jù)進(jìn)行標(biāo)記訓(xùn)練，并在此基礎(chǔ)上建立分類模型對(duì)其他數(shù)據(jù)進(jìn)行判別；非監(jiān)督式采用統(tǒng)計(jì)指標(biāo)、距離指標(biāo)等異常指標(biāo)判斷數(shù)據(jù)異常；半監(jiān)督式基于部分專家標(biāo)記異常數(shù)據(jù)樣本，并與非監(jiān)督式方法結(jié)合進(jìn)行判定。異常值處理策略適用于典型連續(xù)型電氣量，例如發(fā)電電力、受電電力等。

　　合理值處理基于電力系統(tǒng)本體特征，采用多個(gè)調(diào)控對(duì)象或者同一調(diào)控對(duì)象的多個(gè)屬性進(jìn)行綜合分析識(shí)別數(shù)據(jù)質(zhì)量異常，主要方法包括平衡分析、閾值分析、電力電量分析、潮流分析、狀態(tài)估計(jì)等等。典型的例如通過(guò)變電站功率平衡分析，識(shí)別出線的有功數(shù)據(jù)異常；通過(guò)頻率上下限閾值分析，識(shí)別頻率值異常；通過(guò)電力數(shù)據(jù)的積分計(jì)算，識(shí)別電量數(shù)據(jù)異常；通過(guò)狀態(tài)估計(jì)，辨識(shí)壞數(shù)據(jù)等等。合理值處理策略需要結(jié)合數(shù)據(jù)和業(yè)務(wù)特征開展，適用典型連續(xù)型電氣量數(shù)據(jù)、氣象數(shù)據(jù)和指標(biāo)數(shù)據(jù)等等。

　　2.1.4 異構(gòu)調(diào)控?cái)?shù)據(jù)信息融合

　　大數(shù)據(jù)平臺(tái)管理了調(diào)控領(lǐng)域的海量異構(gòu)數(shù)據(jù)，既包括來(lái)自監(jiān)控系統(tǒng)的運(yùn)行數(shù)據(jù)，也包括調(diào)度管理產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，以及來(lái)自外部的環(huán)境、經(jīng)濟(jì)等關(guān)聯(lián)數(shù)據(jù)。這些來(lái)自不同業(yè)務(wù)系統(tǒng)源的數(shù)據(jù)常常具有關(guān)聯(lián)性或互補(bǔ)性，通過(guò)對(duì)多領(lǐng)域多源數(shù)據(jù)融合，可以挖掘出傳統(tǒng)方法無(wú)法獲得的知識(shí)。大數(shù)據(jù)平臺(tái)的數(shù)據(jù)融合主要采用多視角數(shù)據(jù)融合和基于相似性的數(shù)據(jù)融合方法。

　　多視角數(shù)據(jù)融合方法將與某一電網(wǎng)調(diào)度數(shù)據(jù)對(duì)象相關(guān)的多源異構(gòu)數(shù)據(jù)進(jìn)行融合，獲得對(duì)該電網(wǎng)調(diào)度數(shù)據(jù)對(duì)象更為全面和準(zhǔn)確的認(rèn)知。以電網(wǎng)數(shù)據(jù)對(duì)象為例，目前已融合363類數(shù)據(jù)，將與特定電網(wǎng)對(duì)象相關(guān)的總加、電量、頻率、拓?fù)?、氣象、日前?jì)劃、日前預(yù)測(cè)、故障、拉路、限電、錯(cuò)避峰等數(shù)據(jù)通過(guò)電網(wǎng)對(duì)象關(guān)聯(lián)起來(lái)，這樣既可以在時(shí)間分析上預(yù)測(cè)未來(lái)信息，也可以在因果分析上追溯故障影響范圍等。為進(jìn)一步強(qiáng)化多視角數(shù)據(jù)融合，大數(shù)據(jù)平臺(tái)將典型的指標(biāo)和統(tǒng)計(jì)特征值［31］納入平臺(tái)范疇，根據(jù)對(duì)象特性和業(yè)務(wù)需求，按時(shí)間、空間、目標(biāo)、業(yè)務(wù)等不同維度，給出指標(biāo)計(jì)算和特征值統(tǒng)計(jì)方法，為實(shí)時(shí)控制、設(shè)備檢修、清潔能源消納等電網(wǎng)運(yùn)行管理提供量化依據(jù)。

　　基于相似性的數(shù)據(jù)融合方法針對(duì)2個(gè)調(diào)控?cái)?shù)據(jù)對(duì)象存在一定相似性的現(xiàn)象，將一個(gè)調(diào)控?cái)?shù)據(jù)對(duì)象的數(shù)據(jù)用于對(duì)另一個(gè)類似調(diào)控?cái)?shù)據(jù)對(duì)象的數(shù)據(jù)分析。以電網(wǎng)特性分析為例，在分析外送型電網(wǎng)運(yùn)行特征時(shí)，當(dāng)某一地區(qū)電網(wǎng)歷史數(shù)據(jù)不足以支撐數(shù)據(jù)挖掘算法時(shí)，可以選擇與之相似的另一個(gè)電網(wǎng)對(duì)象的數(shù)據(jù)進(jìn)行分析加權(quán)，得出支持度較高的分析結(jié)果。為進(jìn)一步強(qiáng)化相似性數(shù)據(jù)融合，大數(shù)據(jù)平臺(tái)建立標(biāo)簽管理機(jī)制，形成例如創(chuàng)新高、極熱無(wú)風(fēng)、柔性電網(wǎng)、外送型電網(wǎng)、潮汐型電網(wǎng)等若干典型標(biāo)簽，利用業(yè)務(wù)應(yīng)用提供的關(guān)鍵詞進(jìn)行信息組織，提高電網(wǎng)業(yè)務(wù)數(shù)據(jù)聚類效率。

　　為進(jìn)一步強(qiáng)化融合數(shù)據(jù)管理，大數(shù)據(jù)平臺(tái)建立了主題管理機(jī)制，將主題數(shù)據(jù)按照業(yè)務(wù)主題域劃分，面向用戶提供主題概覽、應(yīng)用分析表管理、相關(guān)聯(lián)數(shù)據(jù)查詢等功能，以多層級(jí)可視化方式展示主題、應(yīng)用、表類型和表，減少重復(fù)計(jì)算，實(shí)現(xiàn)數(shù)據(jù)共享。

　　2.2 異構(gòu)數(shù)據(jù)庫(kù)分層統(tǒng)一存儲(chǔ)技術(shù)

　　如圖 4所示，大數(shù)據(jù)平臺(tái)采用異構(gòu)數(shù)據(jù)庫(kù)混合部署方案，形成軟硬件分層解耦的混合存儲(chǔ)模式，充分發(fā)揮各類數(shù)據(jù)庫(kù)的技術(shù)優(yōu)勢(shì)，實(shí)現(xiàn)海量數(shù)據(jù)的全息存儲(chǔ)與計(jì)算分析，提升平臺(tái)整體的數(shù)據(jù)服務(wù)效率。

　　圖 4 異構(gòu)數(shù)據(jù)庫(kù)統(tǒng)一存儲(chǔ)與訪問(wèn)Fig. 4 Unified storage and access of heterogeneous data

　　針對(duì)離線數(shù)據(jù)，將其存儲(chǔ)于易擴(kuò)展的分布式存儲(chǔ)系統(tǒng)，承擔(dān)復(fù)雜的、時(shí)間窗口要求不高的、關(guān)聯(lián)較低的批量任務(wù)處理與海量歷史數(shù)據(jù)存儲(chǔ)。針對(duì)在線數(shù)據(jù)，將百億級(jí)以上時(shí)序數(shù)據(jù)存儲(chǔ)于分布式列數(shù)據(jù)庫(kù)（hadoop database，HBASE）中，承擔(dān)時(shí)序數(shù)據(jù)快速檢索任務(wù)；將千萬(wàn)以上的海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于大規(guī)模并行數(shù)據(jù)庫(kù)（massively parallel processing database，MPP）中，承擔(dān)數(shù)據(jù)實(shí)時(shí)關(guān)聯(lián)、匯總分析、查詢與可視化任務(wù)；將千萬(wàn)以內(nèi)的小規(guī)模結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)關(guān)系庫(kù)（relational database，RDB）中，承擔(dān)常規(guī)事務(wù)處理任務(wù)；將設(shè)備關(guān)聯(lián)圖譜、故障關(guān)聯(lián)圖譜等大規(guī)模關(guān)系網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)于圖數(shù)據(jù)庫(kù)（graph database，GDB）中，承擔(dān)圖的匹配、關(guān)鍵字查詢、分類、聚類和頻繁子圖挖掘等基于圖論的數(shù)據(jù)挖掘任務(wù)。

　　為實(shí)現(xiàn)存儲(chǔ)在HBASE、MPP、RDB、GDB中調(diào)控?cái)?shù)據(jù)的透明訪問(wèn)，在服務(wù)接口層實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)服務(wù)，數(shù)據(jù)服務(wù)基于后端管理的數(shù)倉(cāng)目錄元數(shù)據(jù)實(shí)現(xiàn)在線、離線數(shù)據(jù)異構(gòu)存儲(chǔ)訪問(wèn)的統(tǒng)一。數(shù)倉(cāng)目錄從物理層模型、電網(wǎng)對(duì)象模型、數(shù)據(jù)對(duì)象類型等3個(gè)維度，對(duì)數(shù)據(jù)庫(kù)、數(shù)據(jù)表、表結(jié)構(gòu)信息和調(diào)控?cái)?shù)據(jù)編碼等元數(shù)據(jù)信息進(jìn)行統(tǒng)一管理，如圖 5所示。

　　圖 5 調(diào)控大數(shù)據(jù)多維存儲(chǔ)模型示例Fig. 5 An example of a multi-dimensional storage model for regulating big data

　　2.3 面向調(diào)控對(duì)象的調(diào)控?cái)?shù)據(jù)資產(chǎn)管理技術(shù)

　　數(shù)據(jù)作為資源，伴隨著大數(shù)據(jù)時(shí)代支撐數(shù)據(jù)交換共享和數(shù)據(jù)服務(wù)應(yīng)用的技術(shù)發(fā)展，不斷積淀的數(shù)據(jù)才可以逐步發(fā)揮數(shù)據(jù)的價(jià)值［33-35］。大數(shù)據(jù)平臺(tái)引入數(shù)據(jù)資產(chǎn)管理機(jī)制，定義調(diào)控?cái)?shù)據(jù)資產(chǎn)及分類原則，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理功能，以支持調(diào)控?cái)?shù)據(jù)全域范圍內(nèi)準(zhǔn)確規(guī)劃、定義和共享。

　　2.3.1 調(diào)控?cái)?shù)據(jù)資產(chǎn)定義

　　數(shù)據(jù)資產(chǎn)是由企業(yè)擁有或者控制的，能夠?yàn)槠髽I(yè)帶來(lái)未來(lái)經(jīng)濟(jì)利益的，以物理或電子的方式記錄的數(shù)據(jù)資源［36］，如文件資料、電子數(shù)據(jù)等。在企業(yè)中，并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠?yàn)槠髽I(yè)產(chǎn)生價(jià)值的數(shù)據(jù)資源。

　　大數(shù)據(jù)平臺(tái)中管理的調(diào)控?cái)?shù)據(jù)資產(chǎn)包括電網(wǎng)模型數(shù)據(jù)、運(yùn)行數(shù)據(jù)、文資數(shù)據(jù)和知識(shí)數(shù)據(jù)等，是具有調(diào)控業(yè)務(wù)分析挖掘價(jià)值的數(shù)據(jù)資源，具有準(zhǔn)確、一致、規(guī)范的定義。調(diào)控?cái)?shù)據(jù)資產(chǎn)按照數(shù)據(jù)特征分類管理，分類采用線分類法和面分類法［37］，分類維度包括業(yè)務(wù)屬性、數(shù)據(jù)屬性、時(shí)間屬性。

　　2.3.2 調(diào)控?cái)?shù)據(jù)資產(chǎn)管理技術(shù)

　　大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資產(chǎn)管理位于分析應(yīng)用層和基礎(chǔ)平臺(tái)層之間，處于承上啟下的重要地位。對(duì)上支持以價(jià)值發(fā)現(xiàn)為導(dǎo)向的應(yīng)用開發(fā)，對(duì)下實(shí)現(xiàn)數(shù)據(jù)全生命周期的管理，目標(biāo)是整合調(diào)控?cái)?shù)據(jù)架構(gòu)、設(shè)計(jì)數(shù)據(jù)模型，提高數(shù)據(jù)存儲(chǔ)與操作的交互性，注重?cái)?shù)據(jù)使用的安全合規(guī)性，以及數(shù)據(jù)價(jià)值的管理。調(diào)控?cái)?shù)據(jù)資產(chǎn)管理技術(shù)主要包括數(shù)據(jù)資產(chǎn)規(guī)劃、數(shù)據(jù)資產(chǎn)目錄以及數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估等。

　　數(shù)據(jù)資產(chǎn)規(guī)劃對(duì)各類對(duì)象的數(shù)據(jù)資產(chǎn)進(jìn)行規(guī)劃管理，對(duì)數(shù)據(jù)資產(chǎn)類型和屬性建模，規(guī)范定義數(shù)據(jù)的業(yè)務(wù)含義和物理含義，明確數(shù)據(jù)匯集來(lái)源范圍，提升數(shù)據(jù)接入?yún)R集、數(shù)據(jù)融合過(guò)程中的一致性。數(shù)據(jù)資產(chǎn)目錄對(duì)各類調(diào)控對(duì)象的數(shù)據(jù)資產(chǎn)可視化展示，通過(guò)靈活便捷的數(shù)據(jù)統(tǒng)計(jì)查詢，提高調(diào)控多源海量數(shù)據(jù)的訪問(wèn)效率，并通過(guò)數(shù)據(jù)血緣追蹤數(shù)據(jù)的變化過(guò)程。數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估從數(shù)據(jù)的熱度、時(shí)效、質(zhì)量和價(jià)值密度等多個(gè)維度評(píng)估管理數(shù)據(jù)的價(jià)值屬性。

　　2.4 面向業(yè)務(wù)分析的數(shù)理方法引擎2.4.1 面向電網(wǎng)調(diào)控業(yè)務(wù)分析的主流算法

　　調(diào)控業(yè)務(wù)具有復(fù)雜程度高、準(zhǔn)確性高、針對(duì)性強(qiáng)等需求，分析數(shù)據(jù)具有規(guī)模大、數(shù)據(jù)多樣化、價(jià)值密度低等特點(diǎn)，本節(jié)綜述了特征提取、關(guān)聯(lián)分析、聚類分析、趨勢(shì)預(yù)測(cè)、知識(shí)發(fā)現(xiàn)等主流算法特性及在電網(wǎng)規(guī)劃、檢修、建設(shè)、運(yùn)行、監(jiān)控等業(yè)務(wù)的適用性［38-39］。

　　1）特征提取。

　　特征提取是最大程度地刪除特征數(shù)據(jù)中各種冗余屬性，最終保留下有用的關(guān)鍵特征信息。特征提取算法常被用于電網(wǎng)穩(wěn)定性評(píng)估、電力現(xiàn)貨市場(chǎng)、電能質(zhì)量分析、狀態(tài)診斷等場(chǎng)景。目前，針對(duì)電力系統(tǒng)運(yùn)行狀態(tài)的分析，常用的特征提取方法主要有主成分分析、屬性約簡(jiǎn)方法、混合互信息法等。

　　2）關(guān)聯(lián)分析算法。

　　關(guān)聯(lián)分析算法能夠發(fā)現(xiàn)用傳統(tǒng)的方法無(wú)法發(fā)現(xiàn)的項(xiàng)與項(xiàng)或?qū)傩耘c屬性間的關(guān)系規(guī)律，當(dāng)業(yè)務(wù)存在業(yè)務(wù)關(guān)聯(lián)、因素屬性較多及需要進(jìn)行共性關(guān)聯(lián)量化分析的時(shí)候，算法優(yōu)勢(shì)明顯。因此關(guān)聯(lián)分析算法可以被用于設(shè)備故障分析及診斷、電能消費(fèi)分析、設(shè)備家族缺陷分析等場(chǎng)景，有助于實(shí)現(xiàn)數(shù)據(jù)價(jià)值挖掘。目前關(guān)聯(lián)分析常用的算法有Apriori算法和FP-Growth算法。

　　3）聚類分析算法。

　　聚類分析是一種探索數(shù)據(jù)分組的統(tǒng)計(jì)方法，協(xié)助用戶進(jìn)行更好的理解數(shù)據(jù)類別，當(dāng)業(yè)務(wù)存在樣本缺乏明確的屬性、需要進(jìn)行探索數(shù)據(jù)分類的時(shí)候，算法優(yōu)勢(shì)明顯。如大規(guī)模電網(wǎng)系統(tǒng)負(fù)荷數(shù)據(jù)進(jìn)行多維度、快速的分類，從而有效辨識(shí)系統(tǒng)負(fù)荷特性，協(xié)助制定合理和友好的負(fù)荷管理策略。聚類分析算法可以被用于用電行為特性分析、新能源發(fā)電預(yù)測(cè)、負(fù)荷分析等場(chǎng)景，為挖掘潛在的用戶、新能源及可控負(fù)荷提供數(shù)據(jù)支撐。常用的聚類算法包括層次化聚類算法、劃分式聚類算法、基于密度及網(wǎng)格的聚類算法等。

　　4）預(yù)測(cè)算法。

　　預(yù)測(cè)算法主要建立基于歷史、實(shí)時(shí)、外部環(huán)境等數(shù)據(jù)信息的預(yù)測(cè)模型，實(shí)現(xiàn)預(yù)測(cè)精度的提升，使預(yù)測(cè)的過(guò)程更為智能化、科學(xué)化，以預(yù)測(cè)的精確化支撐業(yè)務(wù)分析的精細(xì)化。因此預(yù)測(cè)算法可以被用于電力負(fù)荷預(yù)測(cè)、新能源發(fā)電預(yù)測(cè)、故障分析、成本預(yù)算、穩(wěn)定性評(píng)估等場(chǎng)景，為對(duì)應(yīng)業(yè)務(wù)場(chǎng)景提供數(shù)據(jù)支撐。目前常用的算法包括回歸分析、時(shí)間序列模型、神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等。

　　2.4.2 數(shù)理方法引擎

　　考慮電網(wǎng)一體化及各類業(yè)務(wù)數(shù)據(jù)分散分布的特點(diǎn)，針對(duì)多源異構(gòu)數(shù)據(jù)在時(shí)間維度、空間維度、應(yīng)用維度等的關(guān)聯(lián)性，構(gòu)建適用于電網(wǎng)調(diào)控運(yùn)行的數(shù)理分析算法引擎，通過(guò)可視化、流程化的算法組件模式，實(shí)現(xiàn)更友好更便捷更高效地?cái)?shù)據(jù)分析交互任務(wù)。

　　數(shù)理分析算法引擎的功能包括數(shù)據(jù)源管理、組件管理、工程管理、模型管理、任務(wù)調(diào)度管理，通過(guò)數(shù)據(jù)庫(kù)接口、離線文件方式獲取待分析數(shù)據(jù)，通過(guò)拖拽組件的方式進(jìn)行算法任務(wù)編排，將數(shù)據(jù)輸入輸出、數(shù)據(jù)預(yù)處理、挖掘建模、模型評(píng)估等環(huán)節(jié)通過(guò)流程化的方式進(jìn)行連接，通過(guò)任務(wù)調(diào)度實(shí)現(xiàn)數(shù)據(jù)源及算法工程的定時(shí)運(yùn)行。

　　數(shù)理分析算法引擎融合多類算法框架與編程語(yǔ)言，解決了業(yè)務(wù)人員挖掘分析算法編程成本高、算法驗(yàn)證與比較過(guò)程復(fù)雜的問(wèn)題，在工程應(yīng)用過(guò)程中，減少數(shù)據(jù)挖掘分析驗(yàn)證與試錯(cuò)周期。

　　3 工程應(yīng)用

　　大數(shù)據(jù)平臺(tái)已經(jīng)在國(guó)調(diào)、天津、四川、冀北等調(diào)控云工程中示范應(yīng)用，實(shí)現(xiàn)了上述關(guān)鍵技術(shù)的部署測(cè)試，已經(jīng)開展并完成了35kV以上電網(wǎng)運(yùn)行數(shù)據(jù)的匯集與融合，提升了海量運(yùn)行數(shù)據(jù)的質(zhì)量，提升了大數(shù)據(jù)分析加工能力，實(shí)現(xiàn)了運(yùn)行數(shù)據(jù)共享服務(wù)。

　　1）建立了調(diào)控?cái)?shù)據(jù)全面匯集的技術(shù)體系。

　　截止到2021年5月，采用資產(chǎn)化建模形成600多個(gè)數(shù)據(jù)資產(chǎn)種類，匯集數(shù)據(jù)總量達(dá)到1.46萬(wàn)億條，數(shù)據(jù)歷史可追溯至2010年。已經(jīng)匯集的運(yùn)行數(shù)據(jù)包括電力、電量、計(jì)劃、預(yù)測(cè)、告警、故障、氣象等，已經(jīng)匯集的文資數(shù)據(jù)包括接線圖、標(biāo)準(zhǔn)制度等。通過(guò)持續(xù)開展的數(shù)據(jù)資產(chǎn)化以及數(shù)據(jù)匯集工作，可以逐步解決調(diào)控運(yùn)行信息在各級(jí)調(diào)度機(jī)構(gòu)分布分散管理，數(shù)據(jù)存儲(chǔ)時(shí)間長(zhǎng)短不一、缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)等問(wèn)題。

　　2）提升了全網(wǎng)運(yùn)行數(shù)據(jù)質(zhì)量。

　　大數(shù)據(jù)平臺(tái)在通用檢測(cè)算法基礎(chǔ)上，結(jié)合了電網(wǎng)業(yè)務(wù)規(guī)則，形成28類校驗(yàn)規(guī)則，并依據(jù)數(shù)據(jù)的一致性、完整性、及時(shí)性、準(zhǔn)確性等質(zhì)量檢測(cè)維度構(gòu)建可配置、易擴(kuò)展的電網(wǎng)全景數(shù)據(jù)校驗(yàn)規(guī)則庫(kù)，每天定期對(duì)運(yùn)行數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，通過(guò)多源數(shù)據(jù)的關(guān)聯(lián)互校核和長(zhǎng)時(shí)間尺度海量遙測(cè)數(shù)據(jù)的綜合評(píng)估方法提升了數(shù)據(jù)問(wèn)題檢出能力。國(guó)分大數(shù)據(jù)平臺(tái)日均匯集數(shù)據(jù)約18億條，通過(guò)算法規(guī)則改進(jìn)，日檢出問(wèn)題從6450個(gè)提高到6838個(gè)，問(wèn)題檢出率提高了6.02%。進(jìn)一步通過(guò)數(shù)據(jù)采集、融合、校驗(yàn)、修正的全鏈路閉環(huán)管理體系運(yùn)作，全面提升了全網(wǎng)運(yùn)行數(shù)據(jù)質(zhì)量。

　　3）提升了調(diào)控?cái)?shù)據(jù)分析加工能力。

　　在基礎(chǔ)指標(biāo)算法方面，目前國(guó)分大數(shù)據(jù)平臺(tái)已經(jīng)加工形成主變負(fù)載率、線路可用率、頻率合格率、潮流越限運(yùn)行累計(jì)時(shí)間和機(jī)組利用小時(shí)數(shù)等200余個(gè)常用調(diào)控運(yùn)行指標(biāo)，并建立了這些指標(biāo)的涵義、計(jì)算方法、計(jì)量單位等標(biāo)準(zhǔn)。

　　在標(biāo)簽算法方面，目前國(guó)分大數(shù)據(jù)平臺(tái)已經(jīng)形成電網(wǎng)負(fù)荷創(chuàng)新高、發(fā)電創(chuàng)新高、線路重載、線路越限等30余個(gè)標(biāo)簽，對(duì)快速進(jìn)行電網(wǎng)和一次設(shè)備長(zhǎng)周期特性分析提供支持。

　　在分析挖掘應(yīng)用方面，實(shí)現(xiàn)了降溫及采暖負(fù)荷分析、短期系統(tǒng)負(fù)荷預(yù)測(cè)、停電窗口期智能編排等應(yīng)用。

　　4）實(shí)現(xiàn)了調(diào)控?cái)?shù)據(jù)應(yīng)用服務(wù)的共建共享。

　　大數(shù)據(jù)平臺(tái)通過(guò)數(shù)據(jù)服務(wù)接口調(diào)用的形式將各類調(diào)控?cái)?shù)據(jù)提供給上層應(yīng)用。

　　數(shù)據(jù)服務(wù)分為原生數(shù)據(jù)服務(wù)和衍生數(shù)據(jù)服務(wù)兩大類。進(jìn)一步按照數(shù)據(jù)類別細(xì)分，原生數(shù)據(jù)服務(wù)包括電力容器生熟數(shù)據(jù)服務(wù)、一次設(shè)備生熟數(shù)據(jù)服務(wù)、電量類生熟數(shù)據(jù)服務(wù)、電力容器特征值數(shù)據(jù)服務(wù)、一次設(shè)備特征值數(shù)據(jù)服務(wù)、檢修計(jì)劃數(shù)據(jù)服務(wù)、告警類數(shù)據(jù)服務(wù)、負(fù)荷預(yù)測(cè)類數(shù)據(jù)服務(wù)、電能計(jì)劃類數(shù)據(jù)服務(wù)等；衍生數(shù)據(jù)服務(wù)包括指標(biāo)定義與查詢服務(wù)、標(biāo)簽生成服務(wù)與標(biāo)簽查詢服務(wù)、交流線路指標(biāo)數(shù)據(jù)服務(wù)、變壓器指標(biāo)數(shù)據(jù)服務(wù)、發(fā)電廠指標(biāo)數(shù)據(jù)服務(wù)、發(fā)電機(jī)指標(biāo)數(shù)據(jù)服務(wù)等。截止2021年5月，大數(shù)據(jù)平臺(tái)已經(jīng)建設(shè)36類數(shù)據(jù)服務(wù)，實(shí)際運(yùn)行測(cè)試平均服務(wù)響應(yīng)時(shí)間不超過(guò)630ms，并實(shí)現(xiàn)了國(guó)分與省級(jí)大數(shù)據(jù)平臺(tái)之間的服務(wù)互通，采用全網(wǎng)通用數(shù)據(jù)對(duì)象ID即可直接獲取到所需的運(yùn)行數(shù)據(jù)，實(shí)現(xiàn)全網(wǎng)海量運(yùn)行數(shù)據(jù)按需服務(wù)、實(shí)時(shí)共享。

　　4 結(jié)論

　　電網(wǎng)調(diào)控大數(shù)據(jù)平臺(tái)依托調(diào)控云平臺(tái)構(gòu)建，形成主導(dǎo)、協(xié)同節(jié)點(diǎn)兩級(jí)的“物理分布、邏輯統(tǒng)一”部署模式。針對(duì)調(diào)控大數(shù)據(jù)兼具工業(yè)自動(dòng)化數(shù)據(jù)、管理信息和金融數(shù)據(jù)特性，在模型數(shù)據(jù)平臺(tái)實(shí)現(xiàn)電網(wǎng)模型統(tǒng)一管理的基礎(chǔ)之上，引入數(shù)據(jù)資產(chǎn)管理的方法，建議全網(wǎng)唯一的數(shù)據(jù)編碼，實(shí)現(xiàn)全網(wǎng)調(diào)控?cái)?shù)據(jù)資產(chǎn)統(tǒng)一管理，明確數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)范圍、數(shù)據(jù)治理方法等。針對(duì)海量數(shù)據(jù)的全息存儲(chǔ)與計(jì)算分析需求，設(shè)計(jì)異構(gòu)數(shù)據(jù)庫(kù)混合存儲(chǔ)模式，充分發(fā)揮各類數(shù)據(jù)庫(kù)的技術(shù)優(yōu)勢(shì)，并在服務(wù)接口層通過(guò)統(tǒng)一數(shù)據(jù)服務(wù)實(shí)現(xiàn)數(shù)據(jù)透明訪問(wèn)，提升平臺(tái)整體的數(shù)據(jù)服務(wù)效率。針對(duì)自動(dòng)化運(yùn)行數(shù)據(jù)周期采樣和多源管理的特點(diǎn)，引入多源數(shù)據(jù)匯集、多源數(shù)據(jù)清洗和異構(gòu)融合技術(shù)，解決多源調(diào)控?cái)?shù)據(jù)集成與融合問(wèn)題，提高了調(diào)控?cái)?shù)據(jù)的完整性、一致性、規(guī)范性，為調(diào)控智能分析應(yīng)用提供高質(zhì)量的數(shù)據(jù)支撐。

　　目前該平臺(tái)在國(guó)網(wǎng)省調(diào)控中心進(jìn)行試點(diǎn)建設(shè)，在調(diào)控?cái)?shù)據(jù)全面匯集、數(shù)據(jù)質(zhì)量持續(xù)提升、數(shù)據(jù)分析手段持續(xù)豐富、數(shù)據(jù)應(yīng)用全面共建共享等方面取得突出成效。以調(diào)控大數(shù)據(jù)平臺(tái)為基礎(chǔ)，積極探索大數(shù)據(jù)技術(shù)在提升調(diào)度業(yè)務(wù)智能化水平潛在能力，從大電網(wǎng)安全管控、市場(chǎng)化運(yùn)行、清潔能源消納、源網(wǎng)荷儲(chǔ)調(diào)度等調(diào)控核心業(yè)務(wù)場(chǎng)景開展大數(shù)據(jù)技術(shù)的實(shí)踐與應(yīng)用，是下一步需要重點(diǎn)研究的內(nèi)容。

　　審核編輯：黃飛