2019人工智能開年頂會AAAI的錄取結(jié)果已出，投稿數(shù)量高達7745篇，錄取率僅為16.2%，論文評審的繁重與嚴格可想而知。這兩年AI頂會論文灌水與評審不專業(yè)的問題愈發(fā)凸顯。最近，中國某知名高校博導(dǎo)一篇AAAI論文被拒，她認為主要是因為同行評審不專業(yè)，AAAI 2019程序主席之一周志華教授做了回應(yīng)。

人工智能“The”頂會之一的AAAI 2019論文錄取結(jié)果昨日公布，16.2%，可以說是AAAI錄取率最低的年份之一，更何況今年的投稿數(shù)量高達7745篇，比去年相翻了一番！

然而，一封公開信卻讓這次本就忙碌的評審更加緊張。

公開信是一名中國知名高校的計算機博導(dǎo)發(fā)出，在信中，寫信人“李老師”稱，在評審人對論文的審稿及處理意見上，評審及錄用決策存在公正與公平性問題，李老師“感到非常遺憾與氣憤！覺得太有失公正公平與水準?！?/p>

究竟怎么一回事？

實名投訴：AAAI 2019審稿人不專業(yè)！

以下是“李老師”的信件：

尊敬的周志華老師：

您好！非常敬仰您，我也于2016年底在貴校您組織的一次學術(shù)會議上和您當面交流討論了我在SIGKDD'16上的一篇論文工作。十分感謝您當時對我工作的鼓勵與贊賞。

這次我向您組織的AAAI’2019投了一篇我們研究團隊歷時三年之久進行深入研究的一成果論文，今天收到了會議論文的錄用通知——reject，這個結(jié)果令人非常遺憾與氣憤！

論文的三位評閱人中的兩位評閱人（評閱人#1和評閱人#3，他/她們都稱是其領(lǐng)域資深專家）對我們的論文工作從各個方面都給予了充分肯定與高度評價，而評閱人 2#也表示其評閱意見是“educated guess”的，他/她不僅非領(lǐng)域?qū)＜?，完全不懂我們的問題，而且連我們的論文都沒有認真看一下，給出的評閱意見簡直就是在胡說八道。在Rebuttal階段，我們認真地對各個評閱人的問題進行了回復(fù)，并且也給AC特意寫了一封信。但是，meta-reviewer還是采納了評閱人 2#的意見，給出了reject的結(jié)果。

其實論文中與不中都沒有太大的關(guān)系，但是，從這次會議對我們論文的審稿及處理意見上，我們對本次會議的評審及錄用決策的公正與公平性上感到非常遺憾與氣憤！覺得太有失公正公平與水準?。∥业囊晃辉趪獾膶W生曾對我講：現(xiàn)在AAAI和IJCAI這種會雖然國內(nèi)認為是A類會議，但懂行的都知道不怎么樣，很多灌水的。對此，我原來是不相信的，現(xiàn)在我確信！這次投稿人數(shù)實在太多，您稱有7745篇，但會議投稿再多，也不能成為論文評審與錄用決策完全不負責任與胡整的理由??！

我們的論文、Rebuttal階段返回的評審人意見以及我們的回復(fù)均在附件中，敬請您及會議的AC在百忙中抽時間再復(fù)審查看一下。真金不怕火煉，我們對我們工作的創(chuàng)新性等有充分的自信。我們只是希望AAAI’2019會議公平、公正，辦得越來越好，不要損害自己的名聲。

祝好！

這封信的作者李老師，就職于中國某計算機名校，擔任教授和博士生導(dǎo)師。以他的年齡、職位和職稱，“真的，論文中不中根本不重要”。

新智元聯(lián)系了李老師，他表示這次論文得到的評分是“8、2、7”，其中這個反差巨大的“2分”，自然是來自那位評審人2#。

李老師說：“我是第一次投稿AAAI，非常尊敬周志華老師，本著對真理和學術(shù)嚴謹?shù)淖非螅?年的成果，詳盡據(jù)理的rebuttal，但審稿人完全沒有認真看，實在讓人無法接受！”

Arxiv讓雙盲評審形同虛設(shè)已經(jīng)成為學界開始應(yīng)對的問題，但據(jù)李老師所知，有人甚至直接找認識的人，然后給論文打9分。

“現(xiàn)在的學術(shù)界，真是太黑了！”

歷史上首位華人學者擔任AAAI大會程序主席

2017年，AAAI曾因與中國的春節(jié)撞期而改日舉行，此事《大西洋月刊》報道，稱“充分體現(xiàn)了中國在世界人工智能領(lǐng)域的影響力”。

當2019年AAAI的兩位程序主席公布，南京大學教授周志華教授成為AAAI歷史上首位非歐美學者程序主席的消息，更是引人振奮，也因此使得中國AI學界以及媒體對這次會議格外關(guān)注。

新智元第一時間聯(lián)系了周志華教授，周志華教授當夜凌晨便給李老師回信，并告訴新智元，“這里面確實涉及到一些關(guān)于人工智能領(lǐng)域投稿的審稿觀念問題，但絕對沒有’黑幕’”。

周志華教授強調(diào)，“今年的AAAI，我們已經(jīng)特別加強了對傳說中的一些不良現(xiàn)象的防范。例如，不再允許審稿人看到全部投稿之后來挑選自己愿意的文章，而只是給150篇左右文章供選擇。甚至SPC也不讓他們看到所有文章，只是給300篇左右文章供選擇。并且PC互相看不到身份，也看不到SPC的身份。這樣大幅度降低了“找熟人”“打招呼”的可能。”

下面是從李老師處收到周志華教授的回信：

李同學，您好，

來信收到。我查看了您這篇文章的記錄，情況跟您自己的感覺可能有些差別。下面是關(guān)于文章處理的一些大致情況供您參考：

文章有3位Reviewer，其中R1和R3是兩位華人學者，R2是一位歐洲學者。您感覺R1、R3是資深專家，而R2是領(lǐng)域外不懂行的學者，很遺憾這個感覺是不準確的。與R1、R3相比，R2才是更資深的專家（歐洲知名高校的人工智能領(lǐng)域fullprofessor）。

她給了“Reject”的分數(shù)，并且稱自己為 “Reviewermadeaneducatedguess”，原因她在給 Confidentialcomments中說了：“I'mnotanexpertatallinthefielddevelopedinthispaper.I'mevenwonderingwhereisthe"ArtificialIntelligence"inthepaper.Tome,itismoreadatabase/datastreamprocessingpaper,thatcouldhaveabetterplaceinrelevantconference.”

您可以看出，她認為這篇文章根本不是搞“人工智能”的，所以她說她不是專家（雖然她確實是人工智能方面的資深專家）。[注：這個confidentialcomment您和R1、R3看不到，SPC、AC能看到]

負責這篇文章的高級程序委員（SPC）是一位很資深的專家、歐洲知名高校的人工智能領(lǐng)域正教授，尤其是主攻大數(shù)據(jù)分析、數(shù)據(jù)流機器學習，并且在MIT出版社出版過這方面的專著，是這個主題上的國際知名專家。您的文章恰好是關(guān)于數(shù)據(jù)流的，所以這位SPC負責本文可以說是非常恰當?shù)娜诉x。

從系統(tǒng)記錄看到，SPC召集了審稿人進行討論。在討論中，R2再次強調(diào) “tomeit'smoreaDBpaperthananAIpaper,sincethereisnodealwithdecisionoradvancedlearning(andnotonlydataanalysis)”，“Eventhe"intelligent"partofthecontributedsystemseemstomequitelimited,andreusesalreadyknownclusteringtechniques”，顯然她認為文章應(yīng)該投到數(shù)據(jù)庫領(lǐng)域的會議去，而不是人工智能領(lǐng)域。

R3這時挺身而出：“Clusteringisoneofthemajortechniqueofdatamining.AndclusteringdatastreamsisoneofthehotresearchtopicsintheareaofKDD,andmanypapersonthetopiccanbefoundatSIGKDDandICDM.”但是，這個意見并不能說服R2。因為數(shù)據(jù)挖掘領(lǐng)域大致是數(shù)據(jù)庫與人工智能領(lǐng)域的交叉，兩方面大約各占一半，不能認為數(shù)據(jù)挖掘會議合適的文章就一定合適投到人工智能的會議去。

SPC最后做出了他的判斷，給出了weakreject的推薦意見，他在meta-review中避免了對“是否屬于人工智能領(lǐng)域的工作”的爭議，強調(diào)了文章本身的一些技術(shù)局限：“theauthorsdidn'tconvinceallthereviewersaboutthenoveltyofthenewapproach.Thechoiceofthebaselinemethodsfrom(Ghesmoune,Lebbah,andAzzag2016)isnotwellmotivated.Thepaperneedsamorecomprehensiveevaluationwithotherstate-of-the-artmethodsofclusteringtobemoreconvincing.”

SPC的意見提交給領(lǐng)域主席(AC)審定。這位AC曾擔任過國際機器學習會議(ICML)和歐洲機器學習會議(ECML)的主席，是國際權(quán)威專家、而且是行內(nèi)眾所周知很負責的專家。他綜合所有情況，做出了Reject的推薦。

從程序主席的角度來看，上述過程沒有任何問題，退稿是合理的，不存在您所謂的“論文評審與錄用決策完全不負責任與胡整”。

我完全理解，花費很多精力的文章被退稿，從感情上難以接受。不過，既然有兩位審稿人給出了正面評價，文章本身肯定有其價值；即便是負面的意見，也提出了很多值得考慮的建議。因此，您不妨把這些來自國際同行的意見作為進一步提高改進工作的助力，相信改進后文章一定能在合適的頂級會議上發(fā)表。

附帶說說關(guān)于R2的看法。現(xiàn)在人工智能很熱，幾乎所有做CS相關(guān)、甚至只要是IT相關(guān)的研究，都或多或少地能與人工智能找到聯(lián)系。但是，從人工智能領(lǐng)域本身的頂級會議來說，比較傳統(tǒng)的審稿專家會認為，投來的文章應(yīng)該是對人工智能領(lǐng)域本身有貢獻才合適。事實上，人工智能領(lǐng)域傳統(tǒng)的幾個頂級會議，原本是有很不同的flavor。近年來很多新人涌入（包括大量新審稿人），對這些傳統(tǒng)文化已不太了解，于是許多會議開始出現(xiàn)“同質(zhì)化”現(xiàn)象。很可能有與您文章主題類似的文章通過了評審，而審稿人并沒有挑剔這個方面，甚至反而可能認為人工智能在今天就應(yīng)該“泛化”了、只要是用到人工智能技術(shù)就都可以投過來。這些看法見仁見智，很難說哪種看法是對是錯。這可以看作投稿中“運氣”成分的一個體現(xiàn)吧。

最后，如果您了解到有損會議公正性的不良現(xiàn)象，建議立即向會議舉報。請相信，任何一個頂級會議的聲譽都是幾十年積累，來之不易，對有損會議聲譽的行為必然會嚴肅處理。

謝謝

周志華

幾分鐘后，周志華教授再次補發(fā)了一封郵件：

李同學，另外我想補充一點，關(guān)于最近兩年在華人學者擔任程序委員的人數(shù)有所增加的會議中，有些在審稿過程中出現(xiàn)了不良現(xiàn)象，我也有所聽聞，例如聽說有人到處找審稿人去bid自己的投稿，爭取讓熟人來審自己的文章，甚至通過審?fù)黄恼碌氖烊藖砹私馄渌麑徃迦说纳矸莶⒋蛘泻簦鹊?。這些不良風氣，國際同行也開始有所聞，對華人學者整體形象造成了很不好的影響。所以今年在AAAI2019，我們采取了新的措施，特別加強了對傳說中的一些不良現(xiàn)象的防范。例如不再允許審稿人看到全部投稿之后來挑選自己愿意審的文章，而只是給150篇左右文章供選擇。甚至也不讓SPC看到所有文章、只是給300篇左右文章供選擇。PC互相看不到身份，也看不到SPC的身份；SPC也看不到AC的身份。這樣我認為會大幅度降低“找熟人”“打招呼”的可能。如果有更好地“系統(tǒng)性”防范不良現(xiàn)象的建議，歡迎您告訴我。另一方面，積極推薦更多的華人學者進入國際學界、成為頂級會議的程序委員、甚至高級程序委員，我認為是應(yīng)該的，這樣才能增強華人學者的影響力。應(yīng)該相信，自律并且公正的華人學者是絕大多數(shù)。事實上，“爭取多發(fā)表幾篇文章”并無意義，做出有影響力的工作才是最重要的。如果始終做灌水工作，通過拉關(guān)系、找熟人，文章發(fā)得再多也沒有意義，除了給國際同行“灌水機”的印象，并不會得到同行真正的尊重。作為學者，得到同行發(fā)自內(nèi)心的尊重才是最大的褒獎。共勉。

周志華

但是，這樣的回信似乎并不能說服李老師。

尊敬的周老師：

您好！十分感謝您在百忙中能認真查看與處理我的郵件，并給予認真仔細地回復(fù)。衷心地感謝，并深感抱歉在您百忙中打擾您！但是，非常遺憾！您所述的稿件被拒過程和理由不能說服我，我保留個人意見。我不服的理由主要如下：1.論文評閱人#2以論文不符合論文主題，就看都不看，或者根本沒有認真去看論文，就胡亂地給出一些與論文內(nèi)容完全不符的意見，給出strongreject的評審結(jié)果。本人確認：該論文內(nèi)容符合AAAI'2019的會議議題，會議主題網(wǎng)址：網(wǎng)址：https://aaai.org/Conferences/AAAI-19/aaai19keywords/上明確地將本人論文內(nèi)容列入在其內(nèi)。2.據(jù)周老師您講：這位論文評閱人#2是位歐洲某大學AI領(lǐng)域資深專家，但是，她以本文論文內(nèi)容不符合會議主題為由就強拒論文，另外，她其它的評審意見是完全在不認真審閱論文的情況下，胡亂與錯誤地評論與發(fā)表與論文內(nèi)容完全不符的意見（詳見我發(fā)過去的評閱人意見及我們的respones），我覺得這是極不負責與不公正的表現(xiàn)。3.關(guān)于論文創(chuàng)新性的問題，我們認真解釋了論文工作的重要性與創(chuàng)新性。但是，論文評閱人#2和AC也全然不看我們的論文與rebuttal，最后以我們不能使所有的評閱人確認我們論文工作的創(chuàng)新性為由而給出reject的最終裁定。不聽與不看rebuttal的作者意見，只迷信堅信權(quán)威，那還有必要有這個rebuttal階段嗎？4.據(jù)周老師您說：這位論文評閱人#2是位歐洲某大學AI領(lǐng)域資深專家。我不知道她是誰，也不能問周老師您她是誰。但是，我這篇論文工作是向一位全球公認的AI領(lǐng)域資深專家Richard Lee匯報的，論文也最終交由他審定。最后的rebuttal階段我們的respones也是Richard Lee教授親自修改并確定的。Richard Lee是不是全球AI領(lǐng)域的資深專家請您判斷，我只知道：他是AAAIFellow，AAAI等領(lǐng)域頂會多次邀請他做大會特邀報告，2017全球AITop100重磅人物中他赫然在列！他對我論文工作的評判有沒有些參考價值與可取之處請您、論文評閱人及AC判斷。前面我講過：論文中與不中對我關(guān)系都不大，我關(guān)鍵是覺得這事太有失公平、公正，所以要申訴。我本人已是教授與博導(dǎo)，這篇論文中與不中與我關(guān)系不大。我本人不像一些國內(nèi)的教授博導(dǎo)，在坐陣指揮他/她的學生們在干科研，我本人熱愛學術(shù)、淡泊名利，總是站在科研第一線。這篇論文從問題查找與突破，仿真實驗設(shè)計、論文撰寫與畫圖都是我本人親力親為。今天我堅持做科研與學術(shù)，僅僅就是因為熱愛。我總想直面領(lǐng)域難題去真正解決它，在我們國家自主創(chuàng)新、踏實科研、在世界學術(shù)舞臺去爭取一些話語權(quán)而盡自己的綿薄之力。我認為：學者的一個基本品質(zhì)就是誠信公正。我們科研的基本過程和目的，就是追求真理！因此，從這個角度上講，這件事我就是覺得十分不公平，所以有必要申訴！我十分清楚我的科研工作還有很大的空間有待改進與提升，我現(xiàn)在和今后都會更加繼續(xù)努力工作。我堅信：是金子總會發(fā)光，是好的工作終會得到公正認可。這件事我較真，我只是在真實地闡述事情本身的原委。

現(xiàn)在我一切釋然，現(xiàn)在我只是將您做為學界我的榜樣與同仁，真誠地向您談?wù)勎覍Υ耸聝?nèi)心的感受與感想，請您諒解海涵！

李老師

評審不專業(yè)、信息泄露，AI頂會評審嚴謹性曾受質(zhì)疑

為了感受這次會議審稿工作量之巨大和錄取標準之嚴格，我們可以看一下往屆AAAI的論文投稿及錄取情況：

1996~2019年AAAI論文投稿與錄取情況：柱狀圖代表投稿數(shù)，從2016年開始，投稿量用“一劍沖天”來形容也不為過；相比之下，雖然投稿數(shù)激增，但近5年來錄取率卻有所下降，今年更是降到了歷史最低的16.2%。

再寬泛一些，看看這兩年來各個AI頂會的投稿和錄取情況：

從數(shù)字上便能直觀地感受到，AAAI 2019的審稿工作量之大，而錄取標準之嚴。

本屆大會的兩位程序主席之一、南京大學的周志華教授在微博上表示，“透露一下: 平均分7分以上被拒的運氣不好，但每篇這樣的都經(jīng)過仔細討論。6-7分的非常多，錄用的被拒的都有。6分以下的進不了討論?！?/p>

與此同時，AI頂會論文評審專業(yè)性的問題也得到越來越多的討論。今年7月，谷歌研究員、GAN的發(fā)明人Ian Goodfellow 就曾發(fā)推炮轟“同行評議”。

Goodfellow在推文中表示，作為頻繁出任會議領(lǐng)域主席并且管理一支小型科研團隊的研究者，他經(jīng)常能看到很多人（包括他自己團隊在內(nèi)）工作的評審意見。

對于實證研究來說，最多的拒稿意見是沒有“理論”，而對于那些提出一種新方法取得更好性能的論文，評審人往往讀過一篇，然后拒稿，理由是論文沒有闡釋為什么這種方法表現(xiàn)更好，而當論文有解釋的內(nèi)容時，無論說得多不靠譜，甚至根本不被證據(jù)支持，心軟一些的評審人也會讓其通過。

Goodfellow 說：“機器學習如今的怪現(xiàn)象里，有一些可能不是同行評議造成的，但評審人要求增加數(shù)學（公式）、增加虛假的解釋和虛假的原創(chuàng)性，我已經(jīng)司空見慣了?！?/p>

不僅如此，連論文提交系統(tǒng)都爆出問題，今年8月7日，就在NIPS 2018初審結(jié)果rebuttal進行的過程當中，有人發(fā)現(xiàn)NIPS 2018的審稿系統(tǒng)出現(xiàn)了嚴重的信息泄露——跟其他上千個學術(shù)會議一樣，NIPS 2018也采用MS CMT3系統(tǒng)進行論文的提交及審核。

而該系統(tǒng)所提交論文的列表會根據(jù)審稿人的域名（也即姓名/機構(gòu)/公司）不斷更新。因此，審稿人通過輸入或者不輸入某個域名沖突，再根據(jù)CMT系統(tǒng)給出的兩個論文列表，就能明確哪些論文是屬于哪個域名，換句話說，也就能夠知道哪些論文是屬于哪位作者或哪個單位的了。

當然，NIPS 2018會務(wù)組及時處理，在一周之內(nèi)，CMT系統(tǒng)便得到修復(fù)，并且根據(jù)官方反饋，目前沒有發(fā)現(xiàn)其他CS/AI學術(shù)會議的審稿信息遭到泄露。

問題還沒完，今年9月，一等一的頂會CVPR也爆出漏洞——一篇已被接收的論文，根據(jù)作者公開的代碼，實驗結(jié)果無法復(fù)現(xiàn)，同行評議過程再次遭到質(zhì)疑的同時，議論的焦點也變?yōu)?，雙盲評審該不該連代碼也一起審核？

不過，針對種種問題，AAAI 2019已經(jīng)做了很多努力。

正如周志華教授信中所說，今年的AAAI，不再允許審稿人看到全部投稿之后來挑選自己愿意的文章，SPC也不讓他們看到所有文章，PC互相看不到身份，也看不到SPC的身份。

北京大學的萬小軍教授也在今年8月發(fā)微博表示，AAAI 2019采用了更嚴格的盲審制度，能夠減少論文評審過程過招呼找關(guān)系的現(xiàn)象。

截至發(fā)稿前，李老師告訴新智元，他非常感謝周老師認真仔細的回復(fù)。但是，周老師所述的稿件被拒的過程和理由不能說服他，“我今天會在中國人工智能咨詢委群中向?qū)W界同仁再次闡述我的不服理由，并公開我的論文評閱人意見和我們在rebuttal階段的respones。讓業(yè)界同仁評判?！?/p>