本文轉(zhuǎn)自：DeepHub IMBA

回歸任務(wù)在實際應(yīng)用中隨處可見——天氣預報、自動駕駛、醫(yī)療診斷、經(jīng)濟預測、能耗分析，但大部分回歸模型只給出一個預測值，對這個值到底有多靠譜卻只字不提。這在某些應(yīng)用場景下會造成很多問題，比如用模型預測患者血壓，假設(shè)輸出是120/80這樣的正常值，表面看沒問題。但如果模型其實對這個預測很不確定呢？這時候光看數(shù)值就不夠了。

神經(jīng)網(wǎng)絡(luò)有幾種方法可以在給出預測的同時估計不確定性。

回歸中的不確定性問題

分類任務(wù)里，每個類別都有對應(yīng)的預測分數(shù)，經(jīng)過softmax之后就是概率值，可以直接當作置信度來看——概率高說明模型比較有把握。

回歸就沒這么簡單了。用MSE（均方誤差）訓練回歸模型時，模型對那些難擬合的樣本會傾向于預測平均值。比如說訓練集里有幾個輸入特征幾乎一樣、但目標值差異很大的樣本，模型為了降低MSE，會把預測往它們的均值靠攏。

這就帶來一個問題：當預測值接近訓練集的整體均值時，很難判斷模型是真的有把握，還是純粹為了優(yōu)化損失函數(shù)在"混日子"。而如果預測值偏離均值較遠，可能說明模型比較確信——因為預測錯了的話MSE懲罰會更重。

假設(shè)目標值在-1到1之間，訓練集均值接近0。模型預測0.1時，不好說它是有信心還是在敷衍；但預測0.8時，大部分情況說明它確實掌握了某些模式，當然這個現(xiàn)象也不是在所有情況下都成立。

這里涉及兩類不確定性的概念：

任意不確定性（Aleatoric uncertainty）來自數(shù)據(jù)本身的隨機性和噪聲，比如測量誤差、自然界的隨機過程。這種不確定性沒法通過增加數(shù)據(jù)來消除，它就是客觀存在的。

認知不確定性（Epistemic uncertainty）源于知識或數(shù)據(jù)的缺乏。弄日三級片訓練數(shù)據(jù)太少或者測試樣本落在從沒見過的區(qū)域，模型就會產(chǎn)生這類不確定性。但是這種不確定性是可以通過改進模型結(jié)構(gòu)、收集更多樣化的數(shù)據(jù)來降低的。

前面提到的那個例子主要說的就是任意不確定性。但即便預測0.8，如果是在數(shù)據(jù)稀疏的區(qū)域，模型也可能因為認知不確定性而不靠譜。

四種不確定性估計方法

這里對比了四種在神經(jīng)網(wǎng)絡(luò)回歸中估計不確定性的方法。

1、均值 + 對數(shù)標準差（Mean + LogStd）

模型輸出兩個值：均值作為預測值，對數(shù)標準差表示不確定性——值越大說明越不確定。損失函數(shù)用的是負對數(shù)似然，假設(shè)目標值服從正態(tài)分布，參數(shù)就是預測的均值和標準差。

x='input features'
y='targets'
mu,log_std=mean_logstd_model(x)
dist_obj=torch.distributions.Normal(loc=mu,scale=log_std.exp())
loss=-dist_obj.log_prob(y).mean()

2、均值 + 對數(shù)方差（Mean + LogVariance）

跟上一個類似，只是把標準差換成了方差。對數(shù)方差越大不確定性越高。損失計算方式如下：

x='input features'
y='targets'
mu,log_variance=mean_logvariance_model(x)
loss=(0.5*log_variance)+(((y-mu)**2)/(2*torch.exp(log_variance)))
loss=loss.mean()

3、蒙特卡洛Dropout（MC Dropout）

訓練時用dropout，但預測階段的時候不關(guān)閉它。對同一個樣本預測多次，由于dropout的隨機性，每次結(jié)果會略有差異。把這些預測值的均值當作最終預測，標準差就是不確定性的度量。

4、簡化版PPO方法

PPO本來是強化學習里的算法，這里做了簡化改造用到監(jiān)督學習上。Actor網(wǎng)絡(luò)預測均值和標準差，獎勵定義為采樣預測的負MSE。跟標準PPO的主要區(qū)別在于優(yōu)勢（advantage）的計算——監(jiān)督回歸可以看作單步環(huán)境不需要GAE，優(yōu)勢就是reward減去value。

實驗設(shè)置

數(shù)據(jù)集

混凝土抗壓強度數(shù)據(jù)集包含1030個樣本，8個特征，1個目標值。按7:3隨機劃分訓練集和測試集。輸入特征標準化到均值0、標準差1，目標值除以100歸一化到(0,1)區(qū)間。

模型結(jié)構(gòu)

基礎(chǔ)架構(gòu)都是全連接網(wǎng)絡(luò)，4個隱藏層，每層64個神經(jīng)元。輸出層根據(jù)不同方法有各自的設(shè)計。

訓練參數(shù)

統(tǒng)一訓練2000個epoch，batch size 256，學習率0.0001。

實驗結(jié)果分析

圖1展示了各方法在訓練集和測試集上的MSE?；€方法（不估計不確定性的普通回歸）測試集MSE最低，均值對數(shù)方差最高。均值對數(shù)標準差和MC Dropout在測試集上表現(xiàn)相當，排第二，PPO排第三。

圖2畫出了真實值和預測值的散點圖，x軸是真值，y軸是預測。點越靠近對角線，預測越準。

圖3展示了不確定性估計的實際效果。x軸是確定性閾值，比如0.3表示過濾掉30%最不確定的預測，只保留70%最有把握的，y軸是這些篩選后樣本的MSE。

基線方法沒有不確定性估計，所以MSE是條平線。PPO的表現(xiàn)比較奇怪——按理說高標準差應(yīng)該對應(yīng)高不確定性，但這里似乎反過來了，篩掉低標準差的預測后MSE反而上升。這可能跟PPO用標準差控制探索有關(guān)，那些被分配低標準差的樣本探索不夠充分反而預測不準。

均值對數(shù)標準差、均值方差和MC Dropout三者表現(xiàn)接近。均值對數(shù)標準差稍微好一點，在0.55閾值之后還能繼續(xù)降低MSE，而均值方差已經(jīng)平了。

圖4把PPO的不確定性順序反過來試了試——最確定的當最不確定，最不確定的當最確定。雖然在0到0.2的區(qū)間MSE有所下降，但0.2之后又回升了。說明即便反著用，PPO的不確定性估計也不太對。

總結(jié)

在混凝土強度這個數(shù)據(jù)集上，均值對數(shù)標準差和均值對數(shù)方差兩種方法在估計預測不確定性方面效果最好。MC Dropout也不錯，但PPO的簡化版本表現(xiàn)不佳，即使反轉(zhuǎn)其不確定性指標也無法獲得可靠的估計。

代碼倉庫：https://github.com/navid-bamdad-roshan/regression-with-uncertainty-methods-comparison

作者：Navid Bamdad Roshan