長(zhǎng)尾視覺(jué)識(shí)別任務(wù)對(duì)神經(jīng)網(wǎng)絡(luò)如何處理頭部（常見(jiàn)）和尾部（罕見(jiàn)）類(lèi)之間的不平衡預(yù)測(cè)提出了巨大挑戰(zhàn)。模型傾向于將尾部類(lèi)分類(lèi)為頭部類(lèi)。雖然現(xiàn)有的研究側(cè)重于數(shù)據(jù)重采樣和損失函數(shù)工程，但在本文中，我們采用了不同的視角：分類(lèi)間隔。我們研究了間隔（margin）和預(yù)測(cè)分?jǐn)?shù)（logit）之間的關(guān)系，并憑經(jīng)驗(yàn)觀察到「未校準(zhǔn)的邊距和預(yù)測(cè)分?jǐn)?shù)呈正相關(guān)」。我們提出了一種「簡(jiǎn)單而有效的邊距校準(zhǔn)方法 (Margin Calibration，MARC) 來(lái)校準(zhǔn)邊距以獲得更平衡的預(yù)測(cè)分?jǐn)?shù)」，從而提升分類(lèi)性能。我們通過(guò)對(duì)常見(jiàn)長(zhǎng)尾基準(zhǔn)（包括 CIFAR-LT、ImageNet-LT、Places-LT 和 iNaturalist-LT）的廣泛實(shí)驗(yàn)來(lái)驗(yàn)證MARC。實(shí)驗(yàn)結(jié)果表明，我們的MARC方法在這些基準(zhǔn)上取得了良好的結(jié)果。此外，「只需三行代碼」就能實(shí)現(xiàn)MARC。我們希望這種簡(jiǎn)單的方法能夠激發(fā)人們重新思考長(zhǎng)尾視覺(jué)識(shí)別中未校準(zhǔn)的邊距與預(yù)測(cè)分?jǐn)?shù)之間的關(guān)系。

文章已被機(jī)器學(xué)習(xí)會(huì)議ACML 2022錄用,由東京工業(yè)大學(xué)、微軟STCA、南京大學(xué)、及微軟亞洲研究院共同完成，第一作者為東京工業(yè)大學(xué)王一棟同學(xué)。

論文：https://arxiv.org/abs/2112.07225

間隔與預(yù)測(cè)分?jǐn)?shù)的關(guān)系

在本文中，我們研究了「間隔(Margin)」和「預(yù)測(cè)分?jǐn)?shù) (logits)」之間的關(guān)系，這是主導(dǎo)長(zhǎng)尾績(jī)效的關(guān)鍵因素。

如下圖所示，我們憑經(jīng)驗(yàn)發(fā)現(xiàn)邊距和預(yù)測(cè)分?jǐn)?shù)與每個(gè)類(lèi)的基數(shù)相關(guān)（一個(gè)類(lèi)的基數(shù)即該類(lèi)別擁有數(shù)據(jù)的數(shù)量）。具體來(lái)說(shuō)，在校準(zhǔn)之前，頭類(lèi)往往比尾類(lèi)具有更大的邊距和預(yù)測(cè)分?jǐn)?shù)。因此，需要校準(zhǔn)這種不平衡的邊距以獲得平衡的預(yù)測(cè)分?jǐn)?shù)去避免未校準(zhǔn)的邊距對(duì)分類(lèi)性能產(chǎn)生負(fù)面影響。

間隔校準(zhǔn)方法MARC: Margin Calibration

我們提出一個(gè)簡(jiǎn)單的間隔校準(zhǔn)方法「MARC (margin calibration)」來(lái)解決長(zhǎng)尾問(wèn)題。

具體而言，我們訓(xùn)練了一個(gè)簡(jiǎn)單的特定于類(lèi)別的邊距校準(zhǔn)模型，其中原始邊距固定， 和 是可學(xué)習(xí)參數(shù)：

的推理公式如下，最終是由預(yù)測(cè)分?jǐn)?shù)（logit=）除以線性分類(lèi)器（Linear Classifier Head）的權(quán)重（Weight）的模（）取得,其中為線性分類(lèi)器的偏差（bias）：

因此，校準(zhǔn)后的預(yù)測(cè)分?jǐn)?shù)為

其中是固定的原始預(yù)測(cè)分?jǐn)?shù)。

此外，我們還對(duì)不同類(lèi)進(jìn)行加權(quán)操作，最終通過(guò)訓(xùn)練 和 來(lái)獲得更平衡的預(yù)測(cè)分?jǐn)?shù)。

核心算法：僅需三行代碼

MARC可以被分類(lèi)為決策邊界（間隔）調(diào)整算法，其與之前的一些同類(lèi)算法如Decouple (ICLR'20, 評(píng)論區(qū)提到的)和DisAlign等的區(qū)別如下：

MARC的核心算法如下圖所示，核心部分如紅框所示?！竷H需三行代碼」即可實(shí)現(xiàn)MARC：

實(shí)驗(yàn)

分類(lèi)結(jié)果

實(shí)驗(yàn)表格如下。我們?cè)诒姸啾粡V泛使用的長(zhǎng)尾分類(lèi)圖像數(shù)據(jù)集中進(jìn)行了對(duì)比。從實(shí)驗(yàn)結(jié)果可以看出MARC相比于其他方法取得了良好的性能，并且MARC十分容易實(shí)現(xiàn)。

復(fù)雜度

下圖是MARC和另一個(gè)決策邊界調(diào)整算法Dis-Align的對(duì)比試驗(yàn)，可以發(fā)現(xiàn)MARC取得了更平衡的邊距和預(yù)測(cè)分?jǐn)?shù)。

總結(jié)

本文研究了長(zhǎng)尾視覺(jué)識(shí)別問(wèn)題。具體來(lái)說(shuō)，我們發(fā)現(xiàn)頭類(lèi)往往比尾類(lèi)具有更大的邊距和預(yù)測(cè)分?jǐn)?shù)。受此發(fā)現(xiàn)的啟發(fā)，我們提出了一個(gè)只有 2K（K是類(lèi)別數(shù)）可學(xué)習(xí)參數(shù)的邊距校準(zhǔn)函數(shù)，以獲得長(zhǎng)尾視覺(jué)識(shí)別中的平衡預(yù)測(cè)分?jǐn)?shù)。盡管我們的方法實(shí)現(xiàn)起來(lái)非常簡(jiǎn)單，但大量實(shí)驗(yàn)表明，與以前的方法相比，MARC在不改變模型表示的情況下取得了有利的結(jié)果。我們希望我們對(duì)預(yù)測(cè)分?jǐn)?shù)和邊距的研究能夠?yàn)槟Ｐ捅硎竞瓦吘嘈?zhǔn)的聯(lián)合優(yōu)化提供經(jīng)驗(yàn)。未來(lái)，我們的目標(biāo)是發(fā)展一個(gè)統(tǒng)一的理論來(lái)更好地支持我們的算法設(shè)計(jì)，并將該算法應(yīng)用于更多的長(zhǎng)尾應(yīng)用。

Reference

[1] 本文所介紹的論文：Wang et al. Margin calibration for long-tailed visual recognition. Asian Conference on Machine Learning (ACML) 2022.

審核編輯 ：李倩