采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和衛(wèi)星圖像數(shù)據(jù)來預(yù)測區(qū)域收入水平的方法已經(jīng)越來越廣泛，部分方案正在嘗試逐步商業(yè)化以推向市場。但由于 CNN 的「黑盒」特點(diǎn)，大多數(shù)模型并不能解釋其預(yù)測的背后過程。

近期的一項(xiàng)研究采用熱力圖 Grad-CAM 對神經(jīng)網(wǎng)絡(luò)進(jìn)行可視化，進(jìn)一步探索了這些預(yù)測背后的邏輯，讓人們對這些模型的可靠性產(chǎn)生了懷疑——在預(yù)測過程中是否采用了相似的特征，以及這些特征與收入水平的相關(guān)性。

近年來，無論是勞動(dòng)力的遷移，還是教育和住房等資源的分配問題，背后都少不了對于城市化進(jìn)程的思考，持續(xù)加速的城市化進(jìn)程無疑對城市的社會(huì)經(jīng)濟(jì)環(huán)境產(chǎn)生了深遠(yuǎn)的影響，如何定量地監(jiān)測和分析這一過程已經(jīng)成為城市規(guī)劃和城市環(huán)境研究領(lǐng)域的重要課題。

日益先進(jìn)的遙感和衛(wèi)星技術(shù)已經(jīng)為觀察特定地區(qū)的地理數(shù)據(jù)以及與城市化研究鋪平了道路。通過人造衛(wèi)星、飛機(jī)或其他飛行器上收集地物目標(biāo)的電磁輻射信息，可判認(rèn)該地區(qū)的地理環(huán)境和資源分布。例如城市人口密集程度和道路建設(shè)情況采集，人口的經(jīng)濟(jì)特征測量等。

隨著多源、高精度遙感數(shù)據(jù)量的激增，傳統(tǒng)的人工判讀和半自動(dòng)化軟件解譯的方式使其在效率和準(zhǔn)確度打上折扣。而采用人工智能和高分辨率遙感可以說是天作之合，基于機(jī)器學(xué)習(xí)算法善于解決海量數(shù)據(jù)分析問題的特點(diǎn)，能夠大幅縮短遙感圖像解譯周期、提高解譯精準(zhǔn)度。

事實(shí)上，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和衛(wèi)星圖像數(shù)據(jù)來預(yù)測區(qū)域收入水平的方法已經(jīng)越來越廣泛，部分方案正在嘗試逐步商業(yè)化以推向市場。比如在缺少經(jīng)濟(jì)生計(jì)可靠數(shù)據(jù)的發(fā)展中國家，基于高分辨率衛(wèi)星圖像來估計(jì)消費(fèi)開支和財(cái)產(chǎn)財(cái)富無疑是一種精確、低廉和可升級的選擇，將對當(dāng)?shù)卣恼吆鸵?guī)劃決策帶來重要參考。

「這類方案的基本思路是通過建模并提取與收入密切相關(guān)的特征進(jìn)行預(yù)測。但我們的研究表明，事實(shí)可能并非如此，所以需要更為深入地了解 CNN 是如何將視覺特征整合到預(yù)測模型中的?！寡芯咳藛T Jacob Levy Abitbol、Ma′rton Karsai 說道。

Abitbol & Karsai 分別來自法國里昂高等師范學(xué)院 （ENS） 和匈牙利中歐大學(xué)（CEU），近日他們聯(lián)合開發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)從航拍圖像中預(yù)測給定地點(diǎn)的社會(huì)經(jīng)濟(jì)狀況，進(jìn)而根據(jù)潛在的城市拓?fù)浣Y(jié)構(gòu)解釋其激活圖，從而縮小基于城市拓?fù)浣Y(jié)構(gòu)和高分辨率的社會(huì)經(jīng)濟(jì)地圖之間預(yù)測的差距。該研究證實(shí)了卷積神經(jīng)網(wǎng)絡(luò)（CNN）針對衛(wèi)星圖像數(shù)據(jù)深入分析的潛能。

圖 1：巴黎地區(qū)實(shí)際統(tǒng)計(jì)（左）和算法預(yù)測（右）的人均收入地圖對比。每個(gè)像素代表 4000 平方米，顏色深淺代表不同地區(qū)居民的社會(huì)經(jīng)濟(jì)平均水平。來源：Abitbol & Karsai.

該研究的最終目標(biāo)是通過分析某一地區(qū)當(dāng)前的衛(wèi)星 / 航空圖像來收集有關(guān)該地區(qū)經(jīng)濟(jì)發(fā)展的數(shù)據(jù)，從而逐步替代人工收集的人口普查數(shù)據(jù)。在理想情況下，該模型需要具備可概括、可理解特點(diǎn)，即在區(qū)域 A 上訓(xùn)練出的模型應(yīng)該在區(qū)域 B 上產(chǎn)生一致的結(jié)果，并且確保模型采用了正確的信號。

該研究采用法國城市的航拍圖像進(jìn)行訓(xùn)練，通過 MBConv 模塊提取特征圖，經(jīng)過全局平均池化層（GAP）和密集層計(jì)算出單個(gè) p 值。由此，從二項(xiàng)式分布中得出每個(gè)社會(huì)經(jīng)濟(jì)階層的概率，預(yù)測該地區(qū)居民社會(huì)經(jīng)濟(jì)地位的能力。

研究的圖像數(shù)據(jù)主要基于三類公開數(shù)據(jù)集，提取了五個(gè)法國城市在社會(huì)經(jīng)濟(jì)和土地利用數(shù)據(jù)方面的完整數(shù)據(jù)及航空圖像：

由國家地理信息研究所 （IGN） 提供的法國市政的航拍照片；

由法國國家統(tǒng)計(jì)和經(jīng)濟(jì)研究所 （INSEE） 提供的高分辨率的社會(huì)經(jīng)濟(jì)地圖 （2019 年）；

由歐洲環(huán)境署提供的歐盟城市地圖集 （2012 年），包含歐盟 28 個(gè)國家和歐洲自由貿(mào)易區(qū) 22 個(gè)國家。

數(shù)據(jù)集均可在線訪問：

https://geoservices.ign.fr/documentation/diffusion/telechargement-donnees-libres.html#ortho-hr-sous-licence-ouverte

https://land.copernicus.eu/local/urban-atlas/urban-atlas-2012

巴黎某一區(qū)域內(nèi)的數(shù)據(jù)采集樣本：a. 遙感 / 航拍圖像；b. 收入的空間分布；c. 功能的空間分布。

該研究的代碼現(xiàn)已開放，可免費(fèi)用于非商業(yè)用途：

論文地址：

https://arxiv.org/abs/2004.04907

在研究初期，需要尋找一個(gè)最佳的影像空間分辨率以建立可用的算法模型，Abitbol & Karsai 在 CNN 模型上取得了不錯(cuò)的結(jié)果。但隨著算法進(jìn)一步被測試，Abitbol & Karsai 發(fā)現(xiàn)其往往是被一些與收入或社會(huì)經(jīng)濟(jì)地位并非密切相關(guān)的城市特征激活。例如，由于公共及商業(yè)場所的燈光明亮，經(jīng)濟(jì)發(fā)達(dá)的城市地區(qū)通常在夜晚具有較強(qiáng)的照明強(qiáng)度，但是模型優(yōu)先考慮的是居民區(qū)的其他功能。

于是，他們開始懷疑這些模型在預(yù)測不同地區(qū)的收入水平時(shí)是否采用了相似的特征，以及這些特征與收入水平的相關(guān)性。

盡管針對衛(wèi)星圖像推斷地區(qū)經(jīng)濟(jì)收入狀況的深度學(xué)習(xí)模型不在少數(shù)，但大多數(shù)并不能解釋其預(yù)測的背后過程。這很大程度上取決于卷積神經(jīng)網(wǎng)絡(luò)自身的技術(shù)特點(diǎn)——通過理論推導(dǎo)，以及梯度傳播，去不斷逼近局部最優(yōu)解。但 Abitbol & Karsai 仍試圖解釋其模型的預(yù)測結(jié)果，以便更好地理解它是如何為每一幅圖像推斷出特定的收入。

為此，Abitbol & Karsai 采用熱力圖 Grad-CAM 對神經(jīng)網(wǎng)絡(luò)進(jìn)行可視化，以研究模型的可解釋性，即通過熱力圖的權(quán)重形式來展現(xiàn)，神經(jīng)網(wǎng)絡(luò)對圖片的哪一部分激活值最大。

基于航拍圖像（a），使用 Grad-CAM 計(jì)算出最貧困地區(qū)（b）和最富裕地區(qū)（c）的社會(huì)經(jīng)濟(jì)階層的熱力圖；將熱力圖與航拍圖進(jìn)行疊加訓(xùn)練 CNN，得出城市功能區(qū)域的多邊形圖（d），計(jì)算出最貧窮地區(qū)（e）和最富裕地區(qū)（f）的標(biāo)準(zhǔn)化激活比率。（ UA： urban area; DUF： discontinuous urban fabric）

通過將高分辨率的類判別激活圖投射到原始地圖上，并與土地利用數(shù)據(jù)疊加，以生成經(jīng)驗(yàn)統(tǒng)計(jì)的特征，使模型更為準(zhǔn)確地預(yù)測該地區(qū)在社會(huì)經(jīng)濟(jì)地位方面的土地利用類別。這一方案讓社會(huì)經(jīng)濟(jì)地位的預(yù)測范圍更加廣泛，同時(shí)也精確地指出了預(yù)測城市環(huán)境的真實(shí)特征。此外，它還提供了不同的城市在城市拓?fù)浣Y(jié)構(gòu)和財(cái)富分配之間的關(guān)聯(lián)模式。

該研究發(fā)現(xiàn)，在推測社會(huì)經(jīng)濟(jì)地位的過程中，CNN 模型忽略了土地利用和社會(huì)經(jīng)濟(jì)數(shù)據(jù)之間的現(xiàn)有相關(guān)性，而主要關(guān)注包含在居民區(qū)內(nèi)的特征。這一發(fā)現(xiàn)為預(yù)測的實(shí)際應(yīng)用引入了更多可解釋性和參考，讓政策的制定者和決策者不僅能夠增進(jìn)其模型內(nèi)部運(yùn)作模型的理解，同時(shí)也將為貧困地區(qū)的城市發(fā)展和城市規(guī)劃帶來更多啟發(fā)。

盡管 CNN 已顯示出收集地理社會(huì)經(jīng)濟(jì)數(shù)據(jù)的潛力，但該研究表明，其預(yù)測背后的過程存在不可靠可能，因此應(yīng)進(jìn)行進(jìn)一步研究。接下來，該研究小組將會(huì)在預(yù)測模型的可解釋性方面進(jìn)行更多探索，使其能夠更有效和可靠地執(zhí)行。

Abitbol & Karsai 說道，「我們對于影響模型可預(yù)測和可解釋程度的因素十分感興趣，此外我們還將通過傳統(tǒng)的視覺識別算法進(jìn)行收入水平的預(yù)測，以驗(yàn)證 CNN 模型在不同地區(qū)的遷移能力以及進(jìn)行高精度社會(huì)經(jīng)濟(jì)預(yù)測的準(zhǔn)確性?！?/p>

責(zé)任編輯：PSY