一篇“4, 4, 3”的論文竟被錄??？這屆ICLR評審又出怪事。作者回復理直氣壯，領(lǐng)域主席似乎一手遮天，三位評審據(jù)理力爭，還有匿名“偵探”調(diào)查貢獻……作者有沒有違反雙盲評審，更重要的是，這篇論文有沒有錄取資格？一起來看。

感謝ICLR，不僅為我們帶來前沿深度學習研究成果，更為我們帶來茶余飯后無盡的談資——你猜對了，又有一出關(guān)于論文錄取的好戲在OpenReiew.net上演。

說真的，劇荒的時候，請登錄OpenReiew.net.

事情是這樣的，一篇評分為“4，4，3”的論文 (按理說處于絕對被拒的范疇，滿分是10分)，最終竟被AC一人之令決定錄取，圍觀群眾紛紛表示：

既如此，還要匿名評審干嘛？！

細看rebuttal更不得了，作者和評審你來我往，簡直不能更精彩：

(評審1讓作者補充引用兩篇現(xiàn)有論文，作者回復) 感謝評論，我們理解你的感受。……我們會在定稿中加上這兩條引用(不是評審1提到的那兩篇)。如果還剩有空間的話，我們會考慮加上你提到的那兩篇論文中的一篇。

(評審1指出作者關(guān)于某一計算的理解有誤，此前雙方已就這一點有好過幾輪爭辯，這一次評審1的回復類似“參考文獻[2]第69頁5.22節(jié)中的定理一可以證明這一點。有關(guān)該理論的證明可參見參考文獻[2]第98頁附錄C.3等等等等”，作者回復)麻煩請用你自己的話說明究竟是為什么。

其他還有：

“感謝評論，但很不幸的是，三位評審員都沒有理解或者忽略了我們這項工作的重點?！?/p>

“感謝你的詳細評論，但我們完全無法接受。”

Sigh…

是該佩服論文作者有話直說呢，還是該感嘆他們有勇無謀？

一名吃瓜群眾表示，自己一篇“7, 7, 5”的論文都被拒了 (雖然沒什么好奇怪的)，另一個人說，他還發(fā)現(xiàn)一篇“4，5，6”的論文也被錄取了。

不論如何，這屆ICLR真是叫人愈發(fā)看不懂了……

一篇評分“4, 4, 3”然而最終竟被錄取的論文

細說故事——哦，不，細說論文之前，我們先來看看這篇論文究竟寫了什么。

論文的題目是《使用幾何方法將目錄樹編碼到詞嵌入中》。

在這篇論文中，作者提出了一種新的方法，將樹狀結(jié)構(gòu)的category信息隱式編碼到詞嵌入中，從而得到所謂的“超維球狀表示” (super-dimensional ball representation)，簡稱n-ball embedding。

該方法具有以下兩個標準：

category之間的從屬關(guān)系應隱式地表示為對應的n-balls之間的包含關(guān)系；

對category關(guān)系的樹結(jié)構(gòu)進行精確編碼。也就是說，能量損失應該為零。

作者在論文中寫道，該研究的貢獻如下：

提出了一種構(gòu)造/訓練n-balls的新幾何方法，將樹狀結(jié)構(gòu)的范疇關(guān)系編碼為能量損失為零的n-balls之間的包含關(guān)系;

提出了一種新的相似度測量方法，既考慮了n-balls的位置，又考慮了n-balls的大小，與實驗中的余弦相似度相比更加精確；

基于Glove創(chuàng)造了一個新的n-ball embedding基準數(shù)據(jù)集，從WordNet 3.0中提取目錄樹，可免費訪問。

論文還開放了源代碼和數(shù)據(jù)集:

https://github.com/gnodisnait/nball4tree.git

https://github.com/gnodisnait/bp94nball.git

到這里為止似乎沒什么問題。公開代碼和數(shù)據(jù)集原本是很好的舉動，但這也為后面的口水戰(zhàn)埋下了伏筆。

一場意想不到的rebuttal大戰(zhàn)上演了。

三位審稿人“堅決拒絕”，領(lǐng)域主席說“可以錄取”

先來看三位評審員對論文的評價。

審稿人1

更新：注意!!! 此文包含與作者相關(guān)帳戶的Github和Google Drive鏈接（請參閱摘要）。我認為這是投稿規(guī)則不允許的，不符合標準。為此，我在具體審稿意見中給出“自動拒絕”的意見。

------------------------------------------------

本文提出了一種方法，用于調(diào)整category對象（如單詞）的現(xiàn)有向量嵌入，將其轉(zhuǎn)換為遵循層次結(jié)構(gòu)的球嵌入。每個類別在高維空間中表示為歐幾里得標準球，其中心和半徑可以根據(jù)數(shù)據(jù)實現(xiàn)自適應。接下來，基于分層結(jié)構(gòu)給出對每對球的包含和排除約束。這些約束是通過算法強加上去的。實證研究部分包括觀察表示與層次結(jié)構(gòu)的一致性，并展示了一組單詞的最近臨域。

從積極的方面來說，本文解決了一個重要問題。具有一定可讀性和條理。在相關(guān)研究部分，可以增補一些代表性的研究，如本意見末的[3,4]。

該論文的主要關(guān)注點是文中提出方法的原創(chuàng)性。使用高維球?qū)哟谓Y(jié)構(gòu)進行編碼，并將包含和排除編碼作為對這些球的約束，從建模角度來看，這是一個簡潔有力的想法。然而，這個方法并不新，在本意見末尾列出的[1和2的第5章]中已經(jīng)構(gòu)建了這種方法。

另一個主要問題是關(guān)于嵌入質(zhì)量的評估。經(jīng)驗評估不足以評估調(diào)整后嵌入的質(zhì)量。相反，定量評估更關(guān)心的是嵌入是否與給定的層級結(jié)構(gòu)相一致。特別是，文中并沒有足夠的定量證據(jù)表明，所提出的嵌入在語義捕捉或預測任務方面的有效性。

應當注意的是，一方面，在理論上是可以實現(xiàn)可行解決方案與層級的一致性的（參見例[1]）。3.2節(jié)的第一段似乎表述不清或存在錯誤。文末的索引[2]中給出了基于梯度的問題解決方案的正確表述。

最后，本文使用算法，而非用于構(gòu)建嵌入的學習方法，使得該方法與ICLR會議的主題沒有直接關(guān)聯(lián)。

總之，綜上所述，我的意見是拒絕錄取。（本文在匿名化上做得很糟糕，更是應予拒稿的有力證據(jù)。）

[1] Mirzazadeh, F., Ravanbakhsh S., DingN., Schuurmans D., "Embeddinginference for structured multilabel prediction", NIPS 2015.

[2] Mirzazadeh, F."Solving AssociationProblems with Convex Co-embedding", PhD thesis, 2017. (Chapter 5)

[3] Vilnis, Luke, and Andrew McCallum."Word representations via gaussian embedding.", ICLR 2015.

[4] Vendrov, I., Kiros, R., Fidler, S.,Urtasun, R. "Order-embeddings of images and language." ICLR 2016.

評分：4 還可以，但不夠好，拒絕

信心：5 審稿人絕對肯定以上評估是正確的，并且非常熟悉相關(guān)文獻

審稿人2

評審意見：本文著重于調(diào)整預訓練詞嵌入，以便通過適當?shù)膎-ball封裝來解決上位詞/下位詞關(guān)系。本文建議通過來自Wordnet等資源，為詞嵌入增補信息，并使用3種幾何變換來強制執(zhí)行該封裝。

這樣做的動機目前來看并不是很清楚，實驗結(jié)果主要是定性的主觀表述，稱通過調(diào)整可以預測和保持上位詞關(guān)系。由于這項工作依賴于Wordnet的資源，詞匯的覆蓋范圍非常有限，作者在“實驗3：方法2”一節(jié)中對結(jié)果進行討論時，不得不從標準語義相似性數(shù)據(jù)集中刪去許多單詞，給文中提出的方法的有用性蒙上了一層陰影。目前尚不清楚這種方法的主要貢獻是什么。

除此之外，該論文難以閱讀，并且文中某些部分（特別是與圖3有關(guān)的部分）在將簡單概念進行復雜化表述。

總的來說，我給出4分的評分，因為文中方法的適用范圍有限，因為該方法依賴于Wordnet，而且沒有足夠的經(jīng)驗證據(jù)證明這種方法的有用性。

評分：4 還可以，但不夠好，拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性。

審稿人3

評審意見：本文提出了用于分類數(shù)據(jù)的N-ball嵌入。N-ball是一對質(zhì)心向量，距中心的半徑代表一個單詞。

主要評價：

本文的缺點是缺乏與其他重要研究的實驗比較。

最近提出的Poincare嵌入和Lorentz模型，在hypernymy嵌入中表現(xiàn)出良好的預測性能。

實際上，WordNet的概念是在DAG中構(gòu)建的，最近對結(jié)構(gòu)嵌入的研究可以處理DAG數(shù)據(jù)。目前尚不清楚如何通過擴展N-ball嵌入來處理DAT結(jié)構(gòu)。

沒有充分描述相關(guān)工作。

目前尚不清楚為什么N-ball嵌入適用于分層結(jié)構(gòu)。

評分：3 堅決拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性

看完上述三位評審人的評價，再來看領(lǐng)域主席的決定。

AC：

審稿意見：作者提供了一種有趣的方法，可以將分層信息注入現(xiàn)有的單詞向量中。這可能有助于處理需要知識庫信息和文本共現(xiàn)計數(shù)的各種任務。

盡管審稿人指出了本文的一些缺點，但我認為這可能只是沒有將符號信息/集/邏輯/KB與神經(jīng)網(wǎng)絡(luò)聯(lián)系起來造成的問題，因此我建議會議接收本文。

信心：4 AC確信本文可以接收，但不完全確定。

意見：接收

對此你有什么看法？

新智元引用Reddit一位用戶的評價：

Area chair decided he/she knows better.

深度學習研究者中的一股清流，還是泥石流？？？

具體的rebuttal在文章開始已經(jīng)說過，這里就不一一描述了，總之絕對精彩，欲知詳情可點擊“閱讀原文”。

現(xiàn)在，由于錄取結(jié)果已定，論文的作者信息也已經(jīng)公開，如此“直言不諱”的一作，究竟是何方神圣？

Tiansi Dong，波恩大學

論文的第一作者Tiansi Dong博士是德國波恩大學Bonn-Aachen信息技術(shù)國際中心(B-IT)人工智能基礎(chǔ)研究小組的成員，主要研究領(lǐng)域包括人工智能、深度學習和知識圖譜。

Tiansi Dong博士是一位高產(chǎn)的作者，2018年以來已在ICLR、AAAI、EMNLP、COLING等AI、NLP的重要會議上發(fā)表5篇論文。

Tiansi Dong的最近論文

該論文的其他幾位作者Olaf Cremers、Chrisitan Bauckhage、Armin B. Cremers、Daniel Speicher和Joerg Zimmermann，是Tiansi Dong在波恩大學的同事，另外兩位作者Hailong Jin和Juanzi Li則來自清華大學。

雙盲評審意外盲點：Github代碼庫貢獻用戶名“暴露”論文一作

當然，關(guān)于這篇論文的評審和錄取結(jié)果已經(jīng)在Reddit引發(fā)了熱議。

除了“4, 4, 3”還能夠被錄取，Reddit上的爭論重點在于，論文作者公開代碼庫時，GitHub上傳貢獻者的用戶名“gnodisnait”，正是一作“Tiansi Dong”反過來寫的結(jié)果。

這算違背論文提交匿名機制了嗎？

Reddit用戶Visible_Layer評論說，

我覺得關(guān)鍵是作者給出了“非匿名”作者的代碼鏈接。把文章發(fā)到arxiv上沒問題，從文章里給出arxiv的鏈接就有問題了。

關(guān)鍵是，要確?！罢\實”的審稿人通過論文及文中的鏈接資源無法獲知文章的作者。

Reddit用戶geraltofrivia783：

但是，從“誠實”的審稿人到“好奇”的審稿人之間，其實只隔了一個谷歌搜索而已。而審稿人是否使用谷歌搜索不應該對其給出評分產(chǎn)生影響。

不要誤會，我完全支持雙盲審稿。事實上，我最近向NAACL提交了一份意見書，我發(fā)現(xiàn)他們關(guān)于匿名化政策就很好。

? 他們說，如果你要將提交在arXiv上的論文重新投稿，則該文章在arXiv上的提交日期必須在NAACL摘要截止日期至少前一個月。我認為，這仍然留下了提交給NAACL論文和arXiv上論文作者存在差異的可能性。（ICLR可能也有類似的規(guī)定）

? 現(xiàn)在有很多匿名上傳代碼和數(shù)據(jù)的方法。這一點很有幫助，因為不用在匿名論文版本中添加 github/gdrive的鏈接了。

Visible_Layer：

所以說這篇文章才違反了匿名政策啊，畢竟有許多方法可以匿名上傳代碼和相關(guān)材料（幾乎不用費什么事?。?，而作者還是上傳到了自己的個人賬戶。

無論一項政策的“公平”程度如何，都是政策，而作者確實違反了政策。

說到這里，新智元相信你也已經(jīng)看累了，就讓我們用Reddit用戶DeusExML的評論收尾吧。

看上去這個審稿流程簡直就是人際溝通技能的一場災難級展示！

一開始作者信誓旦旦地說Github資源庫是匿名的，結(jié)果就被人石錘了，原來這個“匿名”資源庫用的是作者自己的真名，之后作者是這么回復的：“你(匿名評論人)偵查工作的成果(指Github庫貢獻者用戶名)是幾個對本研究沒什么署名要求的人，可能是來自本?；蚝献髟盒５拇T士生，主要是幫著收集數(shù)據(jù)?！?/p>

哈哈，你看露餡了吧。雖然你們干了活，但我們根本沒打算讓你們署名??！