加持視覺大模型后，交通非機(jī)動車管控系列產(chǎn)品，檢測精準(zhǔn)度大幅提升，不僅減輕人工巡查工作量，還能助力實現(xiàn)更高效、精準(zhǔn)的交通管理，來看看對比。

而這份準(zhǔn)確率提升的背后，離不開大模型在復(fù)雜場景下的視覺特征識別能力，比如大家在紅綠燈路口見過的非機(jī)動車蜂擁而出的場景，交警、道安辦勸導(dǎo)員肉眼都較難識別未戴頭盔、載人、安裝雨棚等行為，交通非機(jī)動車管控系列產(chǎn)品如何能做到精準(zhǔn)檢測？

首先，要找到檢測的難點——非機(jī)動車數(shù)量多，在抓拍圖像中容易出現(xiàn)人員重疊，傳統(tǒng)深度學(xué)習(xí)檢測算法關(guān)注圖像中的局部（如頭部），無法識別人體與不同車輛間的關(guān)系，可能導(dǎo)致誤報載人情況。

此外，頭盔的樣式“百花齊放”，包括帶耳朵的、露出頭發(fā)的，不露頭發(fā)的，其中還夾雜著戴鴨舌帽、毛線帽的駕駛?cè)?。傳統(tǒng)深度學(xué)習(xí)算法參數(shù)量少，預(yù)訓(xùn)練數(shù)據(jù)不足，特征提取能力弱，過度依賴顏色信息，容易混淆黑色頭盔和頭發(fā)。大角度、模糊成像等復(fù)雜條件下，識別效果顯著下降。在光照度不足的情況下，也容易出現(xiàn)對非機(jī)動車是否安裝雨棚的誤檢問題。

加持視覺大模型，復(fù)雜場景檢測變得更準(zhǔn)

載人檢測：大模型通過自注意力和全局關(guān)聯(lián)機(jī)制，具備更強(qiáng)的泛化能力和抗干擾能力。在風(fēng)擋、人員遮擋、惡劣成像等復(fù)雜場景下，大模型不僅具備更強(qiáng)的感知能力，而且能夠準(zhǔn)確理解人體與車輛間的關(guān)系，從而準(zhǔn)確識別是否載人。例如，當(dāng)場景中同時出現(xiàn)多個人體時，大模型會判斷邊緣人體與主車相關(guān)性，從而判斷是否為載人。

·頭盔檢測：應(yīng)用大模型后，產(chǎn)品泛化能力提升，對復(fù)雜場景適應(yīng)性更強(qiáng)，不僅能分辨稀有外觀的帽子和頭盔，還具備強(qiáng)大的特征提取能力，能夠識別出露出鴨舌帽帽檐、頭盔固定帶、帽子材質(zhì)等細(xì)節(jié)，從而精準(zhǔn)檢測是否正確佩戴頭盔。

·雨棚檢測：大模型能夠理解雨棚與擋板等部件的區(qū)別，并通過全局關(guān)聯(lián)分析雨棚與車輛、人員的關(guān)系。例如在圖像過暗、難以辨識雨棚細(xì)節(jié)的場景下，大模型憑借深層次結(jié)構(gòu)分析，能夠關(guān)注到透明風(fēng)擋以及頂棚細(xì)節(jié)，通過全局推理判斷出是否存在雨棚。

交通非機(jī)動車管控系列產(chǎn)品矩陣

非機(jī)動車違法取證抓拍單元

內(nèi)置攝像機(jī)采用全局曝光CMOS圖像傳感器，具有清晰度高、照度低、幀率高、色彩還原度好等特點。結(jié)合大模型技術(shù)，大幅提升了目標(biāo)行為檢測和違法行為識別的準(zhǔn)確率，有效遏制電動自行車闖紅燈、逆行、不戴頭盔等多種違法行為。

非機(jī)動車管控一體機(jī)

采用創(chuàng)新一體化設(shè)計，非機(jī)動車檢測抓拍系統(tǒng)、信息發(fā)布系統(tǒng)融合為一體，整體設(shè)計美觀且便于安裝施工。支持非機(jī)動車違法行為檢測、抓拍并通過圖片或文字、語音等方式及時提醒。

非機(jī)動車違法勸導(dǎo)系統(tǒng)

非機(jī)動車勸導(dǎo)相機(jī)搭配音柱，實現(xiàn)未戴頭盔、載人、加裝雨棚等違法行為自動語音勸導(dǎo)，可靈活配置普通話、地方方言；系統(tǒng)可單機(jī)獨立運行，并支持太陽能供電以及4G/5G通信，部署簡單。

安全騎行，和諧交通，海康威視將持續(xù)以創(chuàng)新，為更安全的道路“保駕護(hù)航”。