【導讀】CVPR 2023有哪些亮點？從錄用論文中我們又能看到CV領域有哪些趨勢？

一年一度的CVPR即將在6月18-22日加拿大溫哥華正式開幕。

每年，來自世界各地的成千上萬的CV研究人員和工程師聚集在一起參加頂會。這個久負盛名的會議可以追溯到1983年，它代表了計算機視覺發(fā)展的巔峰。

目前，CVPR的h5指數(shù)所有會議或出版物中位列第四，僅次于《自然》、《科學》和《新英格蘭醫(yī)學雜志》。

前段時間，CVPR公布了論文接收結(jié)果。根據(jù)官網(wǎng)上統(tǒng)計數(shù)據(jù)，一共接受論文9155篇，錄用2359篇，接受率為25.8%。

此外，還公布了12篇獲獎候選論文。

那么，今年的CVPR有哪些亮點？從錄用論文中我們又能看到CV領域有哪些趨勢？

接下來一并揭曉。

CVPR一覽

初創(chuàng)公司Voxel51就所有被接收論文列表中進行了分析。

先來整體看一張論文標題的匯總圖，每個字的大小與數(shù)據(jù)集中出現(xiàn)的頻率成正比。

簡要說明

- 2359篇論文被接收（9155份論文提交)

- 1724篇Arxiv論文

- 68份文件提交到其他地址

每篇論文的作者

- CVPR論文的平均作者約為5.4人

- 論文當中作者最多的是: 「Why is the winner the best?」有125位作者

- 有13篇論文只有一個作者。

主要Arxiv分類

在1724篇Arxiv論文中，有1545篇，或者說接近90%的論文將cs.CV列為主要類別。

cs.LG位列第二，有101篇。eess.IV （26）和 cs.RO （16）也分得一杯羹。

CVPR 論文的其他類別包括: cs.HC，cs.CV，cs.AR，cs.DC，cs.NE，cs.SD，cs.CL，cs.IT，cs.CR，cs.AI，cs.MM，cs.GR，eess.SP，eess.AS，math.OC，math.NT，physics.data-an和stat.ML。

「Meta」數(shù)據(jù)

- 「數(shù)據(jù)集」和「模型」這2個詞共同出現(xiàn)在567篇摘要中。「數(shù)據(jù)集」在265篇論文摘要中單獨出現(xiàn)，而「模型」則單獨出現(xiàn)了613次。只有16.2%的 CVPR接收論文沒有包含這兩個詞。

- 根據(jù)CVPR論文摘要，今年最受歡迎的數(shù)據(jù)集是ImageNet（105），COCO（94），KITTI（55）和CIFAR（36）。

- 28篇論文提出了一個新的「基準」。

縮寫詞比比皆是

似乎沒有首字母縮略詞就沒有機器學習項目。2359篇論文中，1487篇的標題有多個大寫字母的縮略詞或復合詞，占比63%。

這些首字母縮略詞中有一些很容易記住，甚至可以脫口而出：

- CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal PoseCLAMP

- PATS: Patch Area Transportation with Subdivision for Local Feature Matching

- CIRCLE: Capture In Rich Contextual Environments

有些則要復雜得多：

- SIEDOB: Semantic Image Editing by Disentangling Object and Background

- FJMP: Factorized Joint Multi-Agent Motion Prediction over Learned Directed Acyclic Interaction GraphsFJMP

他們中的一些人似乎在首字母縮略詞構建上借鑒了別人的創(chuàng)意：

- SCOTCH and SODA: A Transformer Video Shadow Detection Framework（荷蘭流行潮牌Scotch & Soda）

- EXCALIBUR: Encouraging and Evaluating Embodied Exploration（Ex咖喱棒，笑）

什么最熱？

除了2023年的論文標題，我們抓取了2022年所有接受的論文標題。從這兩個列表中，我們計算了各種關鍵詞的相對頻率，從讓大家對什么是上升趨勢、什么是下降趨勢有更深入的了解。

模型

2023年，擴散模型（Diffusion models）占據(jù)了主導地位。

擴散模型

隨著Stable Diffusion和Midjourney等圖像生成模型的走紅，擴散模型發(fā)展的火熱趨勢也就不足為奇了。

擴散模型在去噪、圖像編輯和風格轉(zhuǎn)換方面也有應用。把所有這些加起來，到目前為止，它是所有類別中最大的贏家，比去年同期增長了573% 。

輻射場

神經(jīng)輻射場（NERF）也越來越受歡迎，論文中使用單詞「radiance」增加了80% ，「NERF」增加了39% 。NeRF已經(jīng)從概念驗證轉(zhuǎn)向編輯、應用和訓練過程優(yōu)化。

Transformers

「Transformer」和「ViT」的使用率下降并不意味著Transformer模型過時，而是反映了這些模型在2022年的主導地位。2021年，「Transformer」這個詞只出現(xiàn)在37篇論文中。2022年，這個數(shù)字飆升至201。Transformer不會很快消失。

CNN

CNN曾經(jīng)是計算機視覺的寵兒，到了2023年，似乎失去了它們的優(yōu)勢，使用率下降了68%。許多提到 CNN 的標題也提到了其他模型。例如，這些論文提到了CNN和Transformer：

- Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth EstimationLite-Mono

- Learned Image Compression with Mixed Transformer-CNN Architectures

任務

掩碼任務和掩碼圖像建模相結(jié)合，在CVPR中占據(jù)了主導地位。

生成

傳統(tǒng)的判別任務，如檢測、分類和分割并沒有失寵，但是由于生成應用的一系列進步，它們在CV的份額正在縮小，包括「編輯」、「合成」以及「生成」的上升就證明這點。

掩碼

關鍵字「mask」比去年同期增長了263% ，在2023年被接收的論文中出現(xiàn)了92次，有時在一個標題中出現(xiàn)了2次。

- SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance SegmentationSIM

- DynaMask: Dynamic Mask Selection for Instance SegmentationDynaMask

但大多數(shù)（64%）實際上指的是「掩碼」任務，包括8個「掩碼圖像建?！购?5個「掩碼自動編碼器」任務。此外，還有8篇出現(xiàn)「掩碼」。

同樣值得注意的是，3篇帶有單詞「mask」的論文標題實際上指的是「無掩碼」任務。

零樣本vs小樣本

隨著遷移學習、生成方法、提示和通用模型的興起，「零樣本」學習正在獲得關注。與此同時，「小樣本」學習比去年有所下降。然而，就原始數(shù)字而言，至少目前而言，「小樣本」（45）比「零樣本」（35）略有優(yōu)勢。

模態(tài)

2023年，多模態(tài)和跨模態(tài)應用加速發(fā)展。

邊界模糊

雖然傳統(tǒng)計算機視覺關鍵詞如「圖像」和「視頻」的頻率相對保持不變，但「文本」/「語言」和「音頻」出現(xiàn)的頻率更高。

即使「多模態(tài)」這個詞本身沒有在論文標題中出現(xiàn)，也很難否認計算機視覺正在走向多模態(tài)的未來。

這在視覺-語言任務中尤其明顯，正如「開放」、「提示」和「詞匯」的急劇上升所表明的那樣。

這種情況最極端的例子是「開放詞匯」這個復合詞，它在2022年只出現(xiàn)了3次，但在2023年出現(xiàn)了18次。

深入挖掘CVPR 2023論文標題中的關鍵詞

點云9

三維計算機視覺應用正在從以二維圖像推斷3D信息（「深度」和「立體」）轉(zhuǎn)向直接在3D點云數(shù)據(jù)上進行工作的計算機視覺系統(tǒng)。

CV標題的創(chuàng)造力

如果不將ChatGPT納入其中，2023年任何與機器學習相關的全面報道都是不完整的。我們決定讓事情變得有趣，并使用ChatGPT來尋找CVPR 2023中最有創(chuàng)意的標題。

對于每一篇上傳到Arxiv的論文，我們抓取了摘要，并要求 ChatGPT （GPT-3.5 API）為相應的CVPR論文生成一個標題。

然后，我們將這些由ChatGPT生成的標題和實際的論文標題，使用OpenAI的text-embedding-ada-002模型生成嵌入向量，并計算ChatGPT生成的標題和作者生成的標題之間的余弦相似度。

這可以告訴我們什么？ChatGPT越接近實際的論文標題，這個標題就越可預測。換句話說，ChatGPT的預測越「偏」，作者給論文命名的「創(chuàng)造性」就越強。

嵌入和余弦相似度為我們提供了一個有趣的，盡管遠非完美的，量化方法。

我們按照這個指標對論文進行了排序。話不多說，下面是最具創(chuàng)造性的標題:

實際的標題：Tracking Every Thing in the Wild

預測的標題：Disentangling Classification from Tracking: Introducing TETA for Comprehensive Benchmarking of Multi-Category Multiple Object Tracking

實際的標題：Learning to Bootstrap for Combating Label Noise

預測的標題：Learnable Loss Objective for Joint Instance and Label Reweighting in Deep Neural Networks

實際的標題：Seeing a Rose in Five Thousand Ways

預測的標題：Learning Object Intrinsics from Single Internet Images for Superior Visual Rendering and Synthesis

實際的標題：Why is the winner the best?

預測的標題：Analyzing Winning Strategies in International Benchmarking Competitions for Image Analysis: Insights from a Multi-Center Study of IEEE ISBI and MICCAI 2021

審核編輯 ：李倩