一、“超強(qiáng)煤礦大腦”應(yīng)用背景及意義

煤礦行業(yè)是我國國民經(jīng)濟(jì)的支柱產(chǎn)業(yè)，在全國能源結(jié)構(gòu)和一次能源消費(fèi)中占有重要比例，2020年我國的一次能源消耗其中煤炭占比達(dá)到 57%。目前，由于國家宏觀政策產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和技術(shù)進(jìn)步，我國煤礦安全生產(chǎn)事故總量逐年下降，安全生產(chǎn)整體形勢總體穩(wěn)定好轉(zhuǎn)，但是與歐美等采煤先進(jìn)的發(fā)達(dá)國家相比，在煤礦事故發(fā)生總數(shù)量以及死亡人數(shù)上仍然差距十分明顯。據(jù)數(shù)據(jù)統(tǒng)計(jì)，中國的煤炭開采中的死亡人數(shù)超過全世界煤礦死亡人數(shù)總和的 3 倍多，我國依舊是全球發(fā)生煤炭事故死亡情況最嚴(yán)峻的國家。煤礦井下是一個(gè)環(huán)境多變復(fù)雜，工作環(huán)節(jié)較多，作業(yè)人員數(shù)量較多，設(shè)備龐大集中的綜合性危險(xiǎn)系數(shù)較大的產(chǎn)業(yè)，每時(shí)每刻都可能出現(xiàn)安全隱患，容易發(fā)生安全事故。通過從大量的煤礦死亡事故統(tǒng)計(jì)中可以發(fā)現(xiàn)，80%以上的死亡事故都是由于作業(yè)人員的不安全行為所導(dǎo)致的。大量的數(shù)據(jù)顯示，人的違規(guī)行為會(huì)受到人因，環(huán)境，設(shè)備、組織等較多因素（如圖 1 所示）的影響，其中，井下工作人員的安全行為能力不足是引起違規(guī)行為發(fā)生的最根本原因。如果想要更好地減少煤礦事故的發(fā)生，保證煤炭產(chǎn)業(yè)的安全發(fā)展，就必須在當(dāng)前的技術(shù)能力以及政策的情況下，從本源出發(fā)，減少違規(guī)行為的產(chǎn)生。

圖 1煤礦事故致因分析圖

目前現(xiàn)代化高產(chǎn)高效礦井安裝了視頻監(jiān)控系統(tǒng)，在地面設(shè)置了調(diào)度指揮中心，采取安全管理值班人員實(shí)時(shí)盯著各重點(diǎn)位置，及時(shí)消除隱患。但井下點(diǎn)多面廣環(huán)節(jié)多，難以長時(shí)間保持警覺，調(diào)度人員不可能 24 小時(shí)實(shí)時(shí)監(jiān)控，無法進(jìn)行及時(shí)獲取相關(guān)隱患信息。所以，需要研制一套“超強(qiáng)煤礦大腦”視頻智能識(shí)別設(shè)備替代監(jiān)控人員，實(shí)時(shí)發(fā)現(xiàn)各種事故隱患，立即進(jìn)行預(yù)警和發(fā)出控制信息，避免重大事故的發(fā)生。

通過本項(xiàng)目的實(shí)施，將人工智能技術(shù)和計(jì)算機(jī)視覺技術(shù)有機(jī)融入煤礦安全生產(chǎn)各個(gè)環(huán)節(jié)，能夠減少井下作業(yè)員工違章行為數(shù)量，及時(shí)發(fā)現(xiàn)設(shè)備和環(huán)境事故隱患，提高煤礦安全生產(chǎn)的智能化管理水平，適應(yīng)國家安監(jiān)總局對提高煤礦自動(dòng)化應(yīng)用程度的要求和我國煤礦安全高效生產(chǎn)的發(fā)展趨勢。因此，“超強(qiáng)煤礦大腦”視頻智能識(shí)別設(shè)備的應(yīng)用具有重要意義。

二，國內(nèi)外研究現(xiàn)狀

縱觀國內(nèi)外出現(xiàn)的基于視覺的圖像目標(biāo)檢測識(shí)別的技術(shù)和方法，大體可歸結(jié)為兩大類，一類是傳統(tǒng)手動(dòng)提取特征的機(jī)器學(xué)習(xí)方法，采用人工設(shè)計(jì)方法提取特征，進(jìn)行訓(xùn)練學(xué)習(xí)，把訓(xùn)練后的特征送入分類模型，進(jìn)行行為和圖像識(shí)別（如圖2所示）。特征提取算法主要有Harris、HOG、SIFT、LBP、SURF、DPM、FAST等，分類算法有 SVM 算法［33］、Adaboost 算法等。這些方法需要設(shè)計(jì)人員具有一定的設(shè)計(jì)技巧，雖然運(yùn)行速度較快，但提取特征不完整、魯棒性差以及無法提取深度特征信息。

圖2 傳統(tǒng)行為目標(biāo)檢測識(shí)別流程

另一類是基于深度學(xué)習(xí)的行為識(shí)別和圖像識(shí)別方法，常見的有基于CNN卷積神經(jīng)網(wǎng)絡(luò)的RCNN、Fast-RCNN、Faster-RCNN以及基于回歸的單階段SDD、YOLO等方法。

所有的深度學(xué)習(xí)識(shí)別方法都是基于多層卷積神經(jīng)網(wǎng)絡(luò)， 卷積神經(jīng)網(wǎng)絡(luò)是一種具有深度結(jié)構(gòu)的前饋人工神經(jīng)網(wǎng)絡(luò)，對輸入信息實(shí)現(xiàn)非線性表征，一般CNN包含多個(gè)卷積層、池化層、全連接層，每個(gè)網(wǎng)絡(luò)層完成不同的任務(wù)，且每種網(wǎng)絡(luò)層具體層數(shù)據(jù)網(wǎng)絡(luò)需求確定，各網(wǎng)絡(luò)層相互配合完成特征提取。一般的CNN結(jié)構(gòu)如圖3所示

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

RCNN目標(biāo)檢測識(shí)別方法，RCNN系列目標(biāo)識(shí)別算法均是基于RCNN改進(jìn)而來的，RCNN目標(biāo)識(shí)別方法是首個(gè)可以應(yīng)用于工業(yè)級(jí)別的解決方案。它的提出改變了目標(biāo)檢測領(lǐng)域的主要研究思路，之后的FAST RCNN、 FASTER-RCNN等算法都沿襲了RCNN的思想。RCNN算法思路流程如圖4所示。

圖4 RCNN算法思路流程

因?yàn)镽CNN系列目標(biāo)檢測算法，均需要經(jīng)過候選框選取與CNN特征提取兩步，所以時(shí)間復(fù)雜度高，無法實(shí)時(shí)檢測目標(biāo)。有人提議能不能舍棄矩形候選框提取分支，直接基于候選框回歸從圖像中檢測出目標(biāo)的類別以及位置，這時(shí)，YOLO，SSD算法出現(xiàn)了。

YOLO目標(biāo)檢測識(shí)別方法

基于回歸的目標(biāo)檢測算法中，YOLO和SSD是典型代表，將候選框選取、特征提取和分類全部在一個(gè)無分支的卷積神經(jīng)網(wǎng)絡(luò)中完成，簡化了網(wǎng)絡(luò)結(jié)構(gòu)并加快了檢測速度，目標(biāo)檢測算法邁入了可以實(shí)時(shí)應(yīng)用的時(shí)代。本小節(jié)中對YOLO算法V3版本進(jìn)行介紹。

YOLO整體流程十分簡單，如圖5所示。將待檢測的圖片，縮放成448 x 448大小的圖像，將整張圖縮放后的圖像送入YOLO算法中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)中完成特征提取、目標(biāo)分類以及bounding box回歸操作。最終同時(shí)得到矩形預(yù)測框的位置以及框內(nèi)目標(biāo)分類的概率分布。

圖5 YOLO目標(biāo)識(shí)別檢測流程圖

雖然經(jīng)過YOLO算法改進(jìn)，提升了識(shí)別速度和準(zhǔn)確率，但和實(shí)際工業(yè)應(yīng)用需求還是具有一定距離。尤其在煤礦監(jiān)控視頻流中，使用這些方法無法在識(shí)別精度和速度上滿足要求。

基于煤礦監(jiān)控視頻流進(jìn)行違章行為識(shí)別、設(shè)備環(huán)境隱患識(shí)別，由于視頻流數(shù)據(jù)量較大，加上煤礦井下環(huán)境嘈雜、煤塵水霧影響、光照度低和照明亮度變化較大，成功案例較少。從基于視頻的人體行為識(shí)別研究來看，主要有傳統(tǒng)人體行為識(shí)別技術(shù)和基于深度學(xué)習(xí)的人體行為識(shí)別技術(shù)。

傳統(tǒng)行為識(shí)別算法的核心也是基于特征工程的，處理輸入視頻數(shù)據(jù)時(shí)包含基于手工構(gòu)造特征進(jìn)行特征提取、特征處理、特征分類三個(gè)流程。傳統(tǒng)行為識(shí)別算法流程如圖6 所示。傳統(tǒng)行為識(shí)別算法中，最具有代表性的算法就是iDT算法，它是傳統(tǒng)行為識(shí)別算法中識(shí)別效果最好的方法，由DT算法上改進(jìn)得來。DT算法基本思路是利用光流場來獲取運(yùn)動(dòng)軌跡，之后沿著運(yùn)動(dòng)軌跡提取四種特征：HOG、 MBH、 HOG、trajectory，采集特征后進(jìn)行特征編碼，再用編碼結(jié)果訓(xùn)練分類器SVM用于特征分類。iDT在DT的基礎(chǔ)上加入相鄰兩幀的光流對比和關(guān)鍵點(diǎn)匹配算法SURF，在一定程度上降低了攝像機(jī)運(yùn)動(dòng)對行為識(shí)別結(jié)果的影響?；谝曨l圖像的傳統(tǒng)識(shí)別算法直接使用視頻幀序列進(jìn)行檢測和學(xué)習(xí)，其缺點(diǎn)是在環(huán)境變化較大時(shí)魯棒性較差。

基于深度學(xué)習(xí)的行為識(shí)別算法使用CNN來挖掘行為特征信息，根據(jù)算法的輸入數(shù)據(jù)格式分類，第一種為基于人體骨骼節(jié)點(diǎn)的行為識(shí)別，第二種為基于視頻圖像的行為識(shí)別?；谌梭w骨骼的識(shí)別算法依賴于準(zhǔn)確的骨骼提取，且受光照這些環(huán)境因素影響較小，目前己經(jīng)有kinect攝像頭等技術(shù)可以準(zhǔn)確快速地提取人體骨架節(jié)點(diǎn)信息。但是這些算法需要專用的提取深度信息的專用攝像頭。

通過前面國內(nèi)外研究現(xiàn)狀可以看出，現(xiàn)有方法直接用于煤礦監(jiān)控視頻流智能分析和識(shí)別存在魯棒性差、算法復(fù)雜、識(shí)別準(zhǔn)確性和速度無法滿足煤礦安全生產(chǎn)實(shí)際需求，但是這些方法為進(jìn)一步研究煤礦視頻智能識(shí)別提供了良好的基礎(chǔ)。

三，“超強(qiáng)煤礦大腦”主要原理與關(guān)鍵技術(shù)

（1）建立煤礦安全隱患危險(xiǎn)源數(shù)據(jù)集；

從前面分析可以看出，任何基于視頻的智能識(shí)別分析系統(tǒng)，離不開大量數(shù)據(jù)集的建立，針對每個(gè)需要監(jiān)控識(shí)別的重要工作場所，采集大量含有安全隱患的視頻和圖像數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)，為通用模型建立提供數(shù)據(jù)基礎(chǔ)，并能為國內(nèi)外同類研究提供相應(yīng)的支撐；

（2）基于深度學(xué)習(xí)和Open pose算法，研究適合煤礦安全生產(chǎn)實(shí)際的違章行為、設(shè)備故障檢測識(shí)別和環(huán)境危險(xiǎn)因素識(shí)別算法；

在之前研究的基礎(chǔ)上，提出適應(yīng)于煤礦監(jiān)控視頻的安全隱患識(shí)別算法，能夠滿足煤礦安全生產(chǎn)實(shí)際需求，在準(zhǔn)確性和速度方面由于現(xiàn)有方法。

（3）利用煤礦安全隱患危險(xiǎn)源數(shù)據(jù)集和煤礦安全違章行為、設(shè)備環(huán)境隱患識(shí)別算法，在工業(yè)實(shí)驗(yàn)礦井訓(xùn)練能夠滿足需求的識(shí)別模型；

（4）研制煤礦視頻識(shí)別統(tǒng)一平臺(tái)設(shè)備，集成煤礦已有海量數(shù)據(jù)，進(jìn)行識(shí)別、報(bào)警和設(shè)備聯(lián)動(dòng)。

四，“超強(qiáng)煤礦大腦”功能

隱患識(shí)別

對各種物的不安全狀態(tài)、設(shè)備的異常情況進(jìn)行實(shí)時(shí)識(shí)別，比如可實(shí)現(xiàn)皮帶跑偏、堆煤、撕裂、皮帶上的大煤塊、錨桿的識(shí)別及報(bào)警，必要時(shí)緊急停車，可避免由于大塊煤、錨桿造成的設(shè)備損壞、堆煤等事故?？勺R(shí)別工作面支架護(hù)幫不到位、風(fēng)窗風(fēng)門沒有關(guān)閉、岔道紅綠燈不亮等安全隱患，并進(jìn)行廣播告警。

l 人員違章違規(guī)行為識(shí)別

實(shí)現(xiàn)井下人員各種常見違章違規(guī)行為的視頻自動(dòng)識(shí)別、圖像抓拍、聲音預(yù)警、實(shí)時(shí)自動(dòng)統(tǒng)計(jì)分析，防止各類人員傷亡事故發(fā)生。比如違章乘坐皮帶、礦車、在軌道上行走、工作期間疲勞操作、打瞌睡、乘車時(shí)工具伸出車外，進(jìn)入危險(xiǎn)地點(diǎn)、在危險(xiǎn)地點(diǎn)、場所行走、乘車站點(diǎn)擁擠等。

l 環(huán)境的不安全因素

實(shí)現(xiàn)巷道、工作面、掘進(jìn)頭等場所變形、偏幫、冒頂、落石、地鼓等環(huán)境不安全因素的實(shí)時(shí)識(shí)別檢測，當(dāng)超過規(guī)定數(shù)值時(shí)，及時(shí)記錄報(bào)警，方便相關(guān)人員及時(shí)采取措施進(jìn)行維修維護(hù)。

五，“超強(qiáng)煤礦大腦”通過多種技術(shù)手段提高煤礦安全生產(chǎn)的智能化管理水平。

涉及算法：

AI神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法、視頻結(jié)構(gòu)化技術(shù)、人臉識(shí)別算法、人臉比對算法、人體識(shí)別算法、物體識(shí)別算法、活體算法、3D畫面矯正算法、移動(dòng)偵測算法、圖像比對算法、物體軌跡算法、人體跟蹤算法等。

部分算法功能展示

【定義】在煤炭皮帶運(yùn)輸機(jī)運(yùn)送物料時(shí)皮帶跑偏，皮帶向左或向右跑偏。

【場景】煤炭落料無規(guī)律的偏向輸送帶的任意一邊，使皮帶的重力作用不均，導(dǎo)致皮帶兩邊的張力不同，從而造成皮帶跑偏。

【定義】當(dāng)煤炭皮帶運(yùn)輸機(jī)運(yùn)送物料時(shí)出現(xiàn)超過規(guī)定煤炭的大塊，則定義為大煤塊檢測。也可以擴(kuò)展檢測采用傳送帶運(yùn)送的常見顆粒物（比如煤炭、砂石、糧食等）超過規(guī)定的大小。

【場景】煤炭皮帶運(yùn)輸機(jī)，適用V形或梯形截面?zhèn)魉蛶б部梢远ㄖ破渌螤畹膫魉蛶?，適用于采礦、糧倉、酒廠制造等場景

【定義】當(dāng)煤炭皮帶運(yùn)輸機(jī)運(yùn)送物料時(shí)出現(xiàn)錨桿，則立即錨桿檢測預(yù)警。

【場景】煤炭皮帶運(yùn)輸機(jī)，適用V形或梯形截面?zhèn)魉蛶б部梢远ㄖ破渌螤畹膫魉蛶?，適用于采礦。

【定義】風(fēng)門長時(shí)間敞開或關(guān)閉不嚴(yán)，立即預(yù)警。

【場景】風(fēng)門長時(shí)間敞開或關(guān)閉不嚴(yán)，就會(huì)破壞礦井通風(fēng)系統(tǒng)，造成風(fēng)流紊亂，使有害氣體聚集，給礦井安全帶來危險(xiǎn)隱患，瓦斯突出逆流波。煤礦風(fēng)窗風(fēng)門沒有關(guān)閉，可以預(yù)警，自定義設(shè)置時(shí)間。

【定義】當(dāng)監(jiān)控?cái)z像機(jī)檢測到有人攜帶超長工具，超大工具乘坐猴車則定義攜帶工具預(yù)警。

【場景】礦井工人上下班時(shí)間，乘坐猴車。

【定義】警戒區(qū)域有人越位闖入，或有人越位乘車。

【場景】礦井危險(xiǎn)禁區(qū)，或超越乘坐車的范圍。

【定義】人數(shù)達(dá)到系統(tǒng)設(shè)定人數(shù)，且在較短的時(shí)間內(nèi)人數(shù)達(dá)到上限立即報(bào)警。

【場景】該功能主要應(yīng)用于礦井有些場景需要控制人數(shù)，用于檢測關(guān)鍵點(diǎn)位人數(shù)。以防人數(shù)過多發(fā)生安全隱患。

【定義】當(dāng)有人在值班室，坐在椅子上的活躍度極低，甚至一動(dòng)不動(dòng)，則有可能是在睡覺，系統(tǒng)定義為睡崗

【場景】值班崗位

【定義】當(dāng)應(yīng)該要有人值班的崗位，長時(shí)間沒有人的情況下，則定義為缺崗

【場景】值班崗位

【定義】診斷攝像機(jī)狀態(tài)是否正常、異常、離線（被遮擋，被切斷電源，被剪斷線路）

【場景】任何監(jiān)控場景

【企業(yè)介紹】

微視圖靈以人工智能、物聯(lián)傳感技術(shù)為核心，利用自主知識(shí)產(chǎn)權(quán)的深度學(xué)習(xí)架構(gòu)、機(jī)器視覺、深耕行為分析算法技術(shù)研發(fā)， 結(jié)合人臉識(shí)別、人體識(shí)別、物體識(shí)別等人工智能算法、致力于為用戶提供全球領(lǐng)先的人工智能產(chǎn)品和行業(yè)解決方案。

核心技術(shù)團(tuán)隊(duì)來自中科院，清華大學(xué)，電子科技大學(xué)等知名學(xué)府。 專注于計(jì)算機(jī)視覺和深度學(xué)習(xí)，布局城市安防，打通AI在智慧司法、智慧校園、智慧養(yǎng)老、智慧交通、智慧醫(yī)院、智慧社區(qū)等幾大垂直場景的應(yīng)用。（歡迎合作：0755-8981 5448）

［作者簡介］

王德永，教授，高級(jí)工程師。主要研究方向?yàn)榈V山信息化、視頻行為識(shí)別等，先后主持或參與國家社科基金和省部級(jí)教學(xué)項(xiàng)目、省級(jí)自然科學(xué)科研項(xiàng)目 10 多項(xiàng)，主持項(xiàng)目獲河南省科技進(jìn)步三等獎(jiǎng)1項(xiàng)、河南省第六屆高等學(xué)校教學(xué)成果二等獎(jiǎng)1項(xiàng)，主持和參與國家精品課程 1 門，省級(jí)（教指委）精品課程 5 門，省級(jí)精品資源共享課程 2 門，主編參編公開出版發(fā)行的工學(xué)結(jié)合教材開發(fā)15本；公開發(fā)表論文 23篇，其中 EI 收錄 10 篇。