這里大家?guī)?lái)一篇武大劉威威老師、南理工沈肖波老師和 UTS Ivor W. Tsang 老師合作的 2020 年多標(biāo)簽最新的 Survey，我也有幸參與其中，負(fù)責(zé)了一部分工作。

上半年在知乎上看到有朋友咨詢多標(biāo)簽學(xué)習(xí)是否有新的 Survey，我搜索了一下，發(fā)現(xiàn)現(xiàn)有的多標(biāo)簽 Survey 基本在 2014 年之前，主要有以下幾篇：

Tsoumakas 的《Multi-label classification： An overview》（2007）

周志華老師的《A review on multi-label learning algorithms》（2013）

一篇比較小眾的，Gibaja 《Multi‐label learning： a review of the state of the art and ongoing research》2014

時(shí)過(guò)境遷，從 2012 年起，AI 領(lǐng)域已經(jīng)發(fā)生了翻天覆地的變化，Deep Learning 已經(jīng)占據(jù)絕對(duì)的主導(dǎo)地位，我們面對(duì)的問(wèn)題越來(lái)越復(fù)雜，CV 和 NLP 朝著各自的方向前行。模型越來(lái)越強(qiáng)，我們面對(duì)的任務(wù)的也越來(lái)越復(fù)雜，其中，我們?cè)絹?lái)越多地需要考慮高度結(jié)構(gòu)化的輸出空間。多標(biāo)簽學(xué)習(xí)，作為一個(gè)傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù)，近年來(lái)也擁抱變化，有了新的研究趨勢(shì)。因此，我們整理了近年多標(biāo)簽學(xué)習(xí)在各大會(huì)議的工作，希望能夠?yàn)檠芯空邆兲峁└咔罢靶缘乃伎肌?/p>

關(guān)于單標(biāo)簽學(xué)習(xí)和多標(biāo)簽學(xué)習(xí)的區(qū)別，這里簡(jiǎn)單給個(gè)例子：傳統(tǒng)的圖片單標(biāo)簽分類考慮識(shí)別一張圖片里的一個(gè)物體，例如 ImageNet、CIFAR10 等都是如此，但其實(shí)圖片里往往不會(huì)只有一個(gè)物體，大家隨手往自己的桌面拍一張照片，就會(huì)有多個(gè)物體，比如手機(jī)、電腦、筆、書(shū)籍等等。在這樣的情況下，單標(biāo)簽學(xué)習(xí)的方法并不適用，因?yàn)檩敵龅臉?biāo)簽可能是結(jié)構(gòu)化的、具有相關(guān)性的（比如鍵盤(pán)和鼠標(biāo)經(jīng)常同時(shí)出現(xiàn)），所以我們需要探索更強(qiáng)的多標(biāo)簽學(xué)習(xí)算法來(lái)提升學(xué)習(xí)性能。

本文的主要內(nèi)容有六大部分：

Extreme Multi-Label Classification

Multi-Label with Limited Supervision

Deep Multi-Label Classification

Online Multi-Label Classification

Statistical Multi-Label Learning

New Applications

接下去我們對(duì)這些部分進(jìn)行簡(jiǎn)單的介紹，更多細(xì)節(jié)大家也可以進(jìn)一步閱讀 Survey 原文。另外，由于現(xiàn)在的論文迭代很快，我們無(wú)法完全 Cover 到每篇工作。我們的主旨是盡量保證收集的工作來(lái)自近年已發(fā)表和錄用的、高質(zhì)量的期刊或會(huì)議，保證對(duì)當(dāng)前工作的整體趨勢(shì)進(jìn)行把握。如果讀者有任何想法和意見(jiàn)的話，也歡迎私信進(jìn)行交流。 1. Extreme Multi-Label Learning （XML） 在文本分類，推薦系統(tǒng)，Wikipedia，Amazon 關(guān)鍵詞匹配 ［1］ 等等應(yīng)用中，我們通常需要從非常巨大的標(biāo)簽空間中召回標(biāo)簽。比如，很多人會(huì) po 自己的自拍到 FB、Ins 上，我們可能希望由此訓(xùn)練一個(gè)分類器，自動(dòng)識(shí)別誰(shuí)出現(xiàn)在了某張圖片中。

對(duì) XML 來(lái)說(shuō)，首要的問(wèn)題就是標(biāo)簽空間、特征空間都可能非常巨大，例如 Manik Varma 大佬的主頁(yè)中給出的一些數(shù)據(jù)集［2］，標(biāo)簽空間的維度甚至遠(yuǎn)高于特征維度。其次，由于如此巨大的標(biāo)簽空間，可能存在較多的 Missing Label（下文會(huì)進(jìn)一步闡述）。最后，標(biāo)簽存在長(zhǎng)尾分布［3］，絕大部分標(biāo)簽僅僅有少量樣本關(guān)聯(lián)?，F(xiàn)有的 XML 方法大致可以分為三類，分別為：Embedding Methods、Tree-Based Methods、One-vs-All Methods。近年來(lái)，也有很多文獻(xiàn)使用了深度學(xué)習(xí)技術(shù)解決 XML 問(wèn)題，不過(guò)我們將會(huì)在 Section 4 再進(jìn)行闡述。XML 的研究熱潮大概從 2014 年開(kāi)始，Varma 大佬搭建了 XML 的 Repository 后，已經(jīng)有越來(lái)越多的研究者開(kāi)始關(guān)注，多年來(lái) XML 相關(guān)的文章理論和實(shí)驗(yàn)結(jié)果并重，值得更多的關(guān)注。

2. Multi-Label with Limited Supervision 相比于傳統(tǒng)學(xué)習(xí)問(wèn)題，對(duì)多標(biāo)簽數(shù)據(jù)的標(biāo)注十分困難，更大的標(biāo)簽空間帶來(lái)的是更高的標(biāo)注成本。隨著我們面對(duì)的問(wèn)題越來(lái)越復(fù)雜，樣本維度、數(shù)據(jù)量、標(biāo)簽維度都會(huì)影響標(biāo)注的成本。因此，近年多標(biāo)簽的另一個(gè)趨勢(shì)是開(kāi)始關(guān)注如何在有限的監(jiān)督下構(gòu)建更好的學(xué)習(xí)模型。本文將這些相關(guān)的領(lǐng)域主要分為三類： MLC with Missing Labels（MLML）：多標(biāo)簽問(wèn)題中，標(biāo)簽很可能是缺失的。例如，對(duì) XML 問(wèn)題來(lái)說(shuō)，標(biāo)注者根本不可能遍歷所有的標(biāo)簽，因此標(biāo)注者通常只會(huì)給出一個(gè)子集，而不是給出所有的監(jiān)督信息。文獻(xiàn)中解決該問(wèn)題的技術(shù)主要有基于圖的方法、基于標(biāo)簽空間（或 Latent 標(biāo)簽空間）Low-Rank 的方法、基于概率圖模型的方法。

Semi-Supervised MLC：MLML 考慮的是標(biāo)簽維度的難度，但是我們知道從深度學(xué)習(xí)需要更多的數(shù)據(jù)，在樣本量上，多標(biāo)簽學(xué)習(xí)有著和傳統(tǒng) AI 相同的困難。半監(jiān)督 MLC 的研究開(kāi)展較早，主要技術(shù)和 MLML 也相對(duì)接近，在這一節(jié)，我們首先簡(jiǎn)要回顧了近年半監(jiān)督 MLC 的一些最新工作。但是，近年來(lái)，半監(jiān)督 MLC 開(kāi)始有了新的挑戰(zhàn)，不少文章開(kāi)始結(jié)合半監(jiān)督 MLC 和 MLML 問(wèn)題。畢竟對(duì)于多標(biāo)簽數(shù)據(jù)量來(lái)說(shuō)，即使標(biāo)注少量的 Full Supervised 數(shù)據(jù)，也是不可接受的。因此，許多文章開(kāi)始研究一類弱監(jiān)督多標(biāo)簽問(wèn)題［4］（Weakly-Supervised MLC，狹義），也就是數(shù)據(jù)集中可能混雜 Full labeled/missing labels/unlabeled data。我們也在文中重點(diǎn)介紹了現(xiàn)有的一些 WS-MLC 的工作。

Partial Multi-Label Learning（PML）：PML 是近年來(lái)多標(biāo)簽最新的方向，它考慮的是一類 “難以標(biāo)注的問(wèn)題”。比如，在我們標(biāo)注下方的圖片（Zhang et. al. 2020［5］）的時(shí)候，諸如 Tree、Lavender 這些標(biāo)簽相對(duì)是比較簡(jiǎn)單的。但是有些標(biāo)簽到底有沒(méi)有，是比較難以確定的，對(duì)于某些標(biāo)注者，可能出現(xiàn)：“這張圖片看起來(lái)是在法國(guó)拍的，好像也可能是意大利？”。這種情況稱之為 Ambiguous。究其原因，一是有些物體確實(shí)難以辨識(shí)，第二可能是標(biāo)注者不夠?qū)I(yè)（這種多標(biāo)簽的情況，標(biāo)注者不太熟悉一些事物也很正常）。但是，很多情況下，標(biāo)注者是大概能夠猜到正確標(biāo)簽的范圍，比如這張風(fēng)景圖所在國(guó)家，很可能就是 France 或者 Italy 中的一個(gè)。我們?cè)诓淮_定的情況下，可以選擇不標(biāo)注、或者隨機(jī)標(biāo)注。但是不標(biāo)注意味著我們丟失了所有信息，隨機(jī)標(biāo)注意味著可能帶來(lái)噪聲，對(duì)學(xué)習(xí)的影響更大。所以 PML 選擇的是讓標(biāo)注者提供所有可能的標(biāo)簽，當(dāng)然加了一個(gè)較強(qiáng)的假設(shè)：所有的標(biāo)簽都應(yīng)該被包含在候選標(biāo)簽集中。在 Survey 中，我們將現(xiàn)有的 PML 方法劃分為 Two-Stage Disambiguation 和 End-to-End 方法（我們 IJCAI 2019 的論文 DRAMA［6］ 中，就使用了前者）。關(guān)于 PML 的更多探討，我在之前的知乎回答里面也已經(jīng)敘述過(guò)，大家也可以在我們的 Survey 中了解更多。

Other Settings：前文說(shuō)過(guò)，多標(biāo)簽學(xué)習(xí)的標(biāo)簽空間紛繁復(fù)雜，因此很多研究者提出了各種各樣不同的學(xué)習(xí)問(wèn)題，我們也簡(jiǎn)單摘要了一些較為前沿的方向：

MLC with Noisy Labels （Noisy-MLC）。

MLC with Unseen Labels. （Streaming Labels/Zero-Shot/Few-Shot Labels）

Multi-Label Active Learning （MLAL）。

MLC with Multiple Instances （MIML）。

3. Deep Learning for MLC 相信這一部分是大家比較關(guān)心的內(nèi)容，隨著深度學(xué)習(xí)在越來(lái)越多的任務(wù)上展現(xiàn)了自己的統(tǒng)治力，多標(biāo)簽學(xué)習(xí)當(dāng)然也不能放過(guò)這塊香餑餑。不過(guò)，總體來(lái)說(shuō)，多標(biāo)簽深度學(xué)習(xí)的模型還沒(méi)有十分統(tǒng)一的框架，當(dāng)前對(duì) Deep MLC 的探索主要分為以下一些類別： Deep Embedding Methods：早期的 Embedding 方法通常使用線性投影，將 PCA、Compressed Sensing 等方法引入多標(biāo)簽學(xué)習(xí)問(wèn)題。一個(gè)很自然的問(wèn)題是，線性投影真的能夠很好地挖掘標(biāo)簽之間的相關(guān)關(guān)系嗎？同時(shí)，在 SLEEC［3］的工作中也發(fā)現(xiàn)某些數(shù)據(jù)集并不符合 Low-Rank 假設(shè)。因此，在 2017 年的工作 C2AE［7］中，Yeh 等將 Auto-Encoder 引入了多標(biāo)簽學(xué)習(xí)中。由于其簡(jiǎn)單易懂的架構(gòu)，很快有許多工作 Follow 了該方法，如 DBPC［8］等。

Deep Learning for Challenging MLC：深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力使我們能夠有效地處理更多更困難的工作。因此我們發(fā)現(xiàn)近年的趨勢(shì)是在 CV、NLP 和 ML 幾大 Community，基本都會(huì)有不同的關(guān)注點(diǎn)，引入 DNN 解決 MLC 的問(wèn)題，并根據(jù)各自的問(wèn)題發(fā)展出自己的一條線。 1. XML 的應(yīng)用：對(duì)這個(gè)方面的關(guān)注主要來(lái)自與數(shù)據(jù)挖掘和 NLP 領(lǐng)域，其中比較值得一提的是 Attention（如 AttentionXML［9］）機(jī)制、Transformer-Based Models（如 X-Transformer［10］）成為了最前沿的工作。

2. 弱監(jiān)督 MLC 的應(yīng)用：這一部分和我們?nèi)醣O(jiān)督學(xué)習(xí)的部分相對(duì)交叉，特別的，CVPR 2019 的工作 ［11］ 探索了多種策略，在 Missing Labels 下訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。 DL for MLC with unseen labels：這一領(lǐng)域的發(fā)展令人興奮，今年 ICML 的工作 DSLL［12］探索了流標(biāo)簽學(xué)習(xí)，也有許多工作 ［13］ 將 Zero-Shot Learning 的架構(gòu)引入 MLC。 3. Advanced Deep Learning for MLC：有幾個(gè)方向的工作同樣值得一提。首先是 CNN-RNN［14］架構(gòu)的工作，近年有一個(gè)趨勢(shì)是探索 Orderfree 的解碼器 ［15］。除此之外，爆火的圖神經(jīng)網(wǎng)絡(luò) GNN 同樣被引入 MLC，ML-GCN［16］ 也是備受關(guān)注。特別的，SSGRL［17］是我比較喜歡的一篇工作，結(jié)合了 Attention 機(jī)制和 GNN，motivation 比較強(qiáng)，效果也很不錯(cuò)。 總結(jié)一下，現(xiàn)在的 Deep MLC 呈現(xiàn)不同領(lǐng)域關(guān)注點(diǎn)和解決的問(wèn)題不同的趨勢(shì)：

從架構(gòu)上看，基于Embedding、CNN-RNN、CNN-GNN的三種架構(gòu)受到較多的關(guān)注。

從任務(wù)上，在XML、弱監(jiān)督、零樣本的問(wèn)題上，DNN 大展拳腳。

從技術(shù)上，Attention、Transformer、GNN在 MLC 上的應(yīng)用可能會(huì)越來(lái)越多。

4. Online Multi-Label Learning 面對(duì)當(dāng)前這么復(fù)雜而眾多的學(xué)習(xí)問(wèn)題，傳統(tǒng)的全數(shù)據(jù)學(xué)習(xí)的方式已經(jīng)很難滿足我們現(xiàn)實(shí)應(yīng)用的需求了。因此，我們認(rèn)為 Online Multi-Label Learning 可能是一個(gè)十分重要，也更艱巨的問(wèn)題。當(dāng)前 Off-line 的 MLC 模型一般假設(shè)所有數(shù)據(jù)都能夠提前獲得，然而在很多應(yīng)用中，或者對(duì)大規(guī)模的數(shù)據(jù)，很難直接進(jìn)行全量數(shù)據(jù)的使用。一個(gè)樸素的想法自然是使用 Online 模型，也就是訓(xùn)練數(shù)據(jù)序列地到達(dá)，并且僅出現(xiàn)一次。然而，面對(duì)這樣的數(shù)據(jù)，如何有效地挖掘多標(biāo)簽相關(guān)性呢？本篇 Survey 介紹了一些已有的在線多標(biāo)簽學(xué)習(xí)的方法，如 OUC［18］、CS-DPP［19］等。在弱監(jiān)督學(xué)習(xí)的部分，我們也回顧了近年一些在線弱監(jiān)督多標(biāo)簽的文章［20］（在線弱監(jiān)督學(xué)習(xí)一直是一個(gè)很困難的問(wèn)題）。

Online MLC 的工作不多，但是已經(jīng)受到了越來(lái)越多的關(guān)注，想要設(shè)計(jì)高效的學(xué)習(xí)算法并不簡(jiǎn)單，希望未來(lái)能夠有更多研究者對(duì)這個(gè)問(wèn)題進(jìn)行探索。 5. Statistical Multi-Label Learning 近年，盡管深度學(xué)習(xí)更強(qiáng)勢(shì)，但傳統(tǒng)的機(jī)器學(xué)習(xí)理論也在穩(wěn)步發(fā)展，然而，多標(biāo)簽學(xué)習(xí)的許多統(tǒng)計(jì)性質(zhì)并沒(méi)有得到很好的理解。近年 NIPS、ICML 的許多文章都有探索多標(biāo)簽的相關(guān)性質(zhì)。一些值得一提的工作例如，缺失標(biāo)簽下的低秩分類器的泛化誤差分析 ［21］、多標(biāo)簽代理?yè)p失的相合性質(zhì)［22］、稀疏多標(biāo)簽學(xué)習(xí)的 Oracle 性質(zhì)［23］ 等等。相信在未來(lái)，會(huì)有更多工作探索多標(biāo)簽學(xué)習(xí)的理論性質(zhì)。

6. New Applications 講了這么多方法論，但追溯其本源，這么多紛繁復(fù)雜的問(wèn)題依然是由任務(wù)驅(qū)動(dòng)的，正是有許許多多現(xiàn)實(shí)世界的應(yīng)用，要求我們?cè)O(shè)計(jì)不同的模型來(lái)解決尺度更大、監(jiān)督更弱、效果更強(qiáng)、速度更快、理論性質(zhì)更強(qiáng)的 MLC 模型。因此，在文章的最后一部分，我們介紹了近年多標(biāo)簽領(lǐng)域一些最新的應(yīng)用，如 Video Annotation、Green Computing and 5G Applications、User Profiling 等。在 CV 方向，一個(gè)趨勢(shì)是大家開(kāi)始探索多標(biāo)簽領(lǐng)域在視頻中的應(yīng)用 ［24］。在 DM 領(lǐng)域，用戶畫(huà)像受到更多關(guān)注，在我們今年的工作 CMLP［25］ 中（下圖），就探索了對(duì)刷單用戶進(jìn)行多種刷單行為的分析。不過(guò)，在 NLP 領(lǐng)域，似乎大家還是主要以文本分類為主，XML-Repo［2］中的應(yīng)用還有較多探索的空間，所以我們沒(méi)有花額外的筆墨。

總結(jié) 寫(xiě)這篇文章的過(guò)程中，我跟著幾位老師閱讀了很多文章，各個(gè)領(lǐng)域和方向的工作都整理了不少，盡管無(wú)法 cover 到所有工作，但是我們盡可能地把握了一些較為重要的探索的方向，也在文中較為謹(jǐn)慎地給出了一些我們的思考和建議，希望能夠給想要了解多標(biāo)簽學(xué)習(xí)領(lǐng)域的研究者一點(diǎn)引領(lǐng)和思考。

原文標(biāo)題：多標(biāo)簽學(xué)習(xí)的新趨勢(shì)（2020 Survey）

文章出處：【微信公眾號(hào)：通信信號(hào)處理研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq