近日，各大頂會評審風(fēng)波不斷，可謂民意洶涌。Nature發(fā)表文章稱，我國國家自然科學(xué)基金委員會正在利用AI來選擇匹配評審人。那么這套系統(tǒng)是否能夠做到省時省力又無偏見呢？讓我們來一探究竟。

同行評審飽受爭議，要不試試AI？

最近，人工智能頂會IJCAI 19遭眾多網(wǎng)友猛烈抨擊：審稿不專業(yè)、學(xué)生審稿、review寥寥幾句、打分看心情。被網(wǎng)友評價為“審稿宇宙最爛”。

微博用戶評論

連大會程序主席Sarit Kraus也被迫站出來作解釋：

由于論文數(shù)量太多，審稿人數(shù)量不足，時間也頗為緊迫，只能在現(xiàn)有條件下盡力把控審稿流程。對于作者們反映的審稿過程瑕疵、公平性不足、隨機性太強等問題表示理解。

那么，為什么不試試AI呢？

文章地址：

https://www.nature.com/articles/d41586-019-01517-8

昨日，Nature發(fā)表文章稱，中國國家自然科學(xué)基金委員會(NSFC)正在建立一個更加復(fù)雜的系統(tǒng)，該系統(tǒng)將利用自然語言處理技術(shù)抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家的個人網(wǎng)頁，收集潛在評審人員的出版物或研究項目的詳細(xì)信息。

國家自然科學(xué)基金委負(fù)責(zé)人李靜海表示，該系統(tǒng)將使用文本的語義分析來比較資助申請和潛在評審人信息，并確定最佳匹配。

這個工具可以選擇研究人員來審查資助申請，讓這個過程更有效、更快、更公平。一些研究人員表示，NSFC采用的方法是世界領(lǐng)先的，但其他人對AI能否改善這一過程持懷疑態(tài)度。

AI加持同行評審：省時省力，也可減少偏見，外國正在效仿

上個月在杭州召開的學(xué)術(shù)交流會議上，國家自然科學(xué)基金前負(fù)責(zé)人楊衛(wèi)介紹了試點數(shù)據(jù)。該工具的試用版本從去年獲批資助項目的近44000個專家組中各選擇至少1位專家，每個專家組由3~7人組成。楊衛(wèi)說，該系統(tǒng)已經(jīng)減少了行政人員尋找評審專家的時間。他說，今年也將采用類似的方法來選擇評審專家。

節(jié)省時間

歐洲最大的基礎(chǔ)研究機構(gòu)法國國家科學(xué)研究中心國際合作部主任Patrick Nédellec說，中國國家自然科學(xué)基金委員會已經(jīng)成為改革資助審查程序的全球領(lǐng)導(dǎo)者。Nedellec在去年9月的一次會議上討論了國家自然科學(xué)基金的改革計劃，他說，因為申請基金的數(shù)量不斷增加，NSFC已經(jīng)被迫進(jìn)行了創(chuàng)新。

“壓力如此之大，中國別無選擇，只能尋找最好的辦法，”他表示。

在過去的五年里，國家自然科學(xué)基金收到的申請數(shù)量以每年約10%的速度增長。2018年，該機構(gòu)評審了22.5萬份資助申請，幾乎是美國國家科學(xué)基金會收到的6倍。李靜海說，國家自然科學(xué)基金委正在努力處理申請并尋找合適的評審人員?！疤魬?zhàn)在于沒有足夠的人手，”他表示：“AI會解決這個問題。”

減少偏見

李靜海還希望這個工具能夠減少審稿人評審時的偏見。他說，在中國，科學(xué)家們可能為他們的項目找關(guān)系?！霸u審中的一個問題是，人們可能走關(guān)系。AI是不會被行賄收買的，”李靜海說。

在其他一些國家，申請者可以推薦由哪位專家審查他們的提案，這也是一個問題。例如，瑞士國家科學(xué)基金會發(fā)現(xiàn)，由申請者推薦的評審員比由基金會選擇的評審員更有可能支持這個項目。

國家自然科學(xué)基金委的試點AI系統(tǒng)目前僅適用于中文網(wǎng)站，但李靜海希望它將來也能夠抓取英文網(wǎng)站。

維也納理工大學(xué)的科學(xué)政策顧問Manfred Horvat表示：“國家自然科學(xué)基金委的改革計劃雄心勃勃、具有前瞻性和全面性?！盚orvat去年9月也聽過李靜海的演講。

其他國家也在效仿中國。上個月，挪威研究委員會開始使用自然語言處理技術(shù)，將大約3000份研究提案分組，并將它們與最佳評審小組進(jìn)行匹配。

在接受《國家科學(xué)評論》((National Science Review，NSR)專訪時，李靜海院士表示：

在其他國家有一些智能系統(tǒng)的雛形，但還沒有過一個完整的系統(tǒng)。比如在一些期刊的投審稿系統(tǒng)中，已經(jīng)可以通過關(guān)鍵詞匹配來判斷特定的專家是否適合審稿，也可以提供審稿人的既往評審數(shù)據(jù)。

而我們希望能做得更多更好更嚴(yán)格。將要建成的系統(tǒng)可以對評審人的既往研究工作、發(fā)表過的文章等進(jìn)行分析，通過語義理解比對，與基金申請書進(jìn)行匹配，找到在專業(yè)上合適的專家，同時結(jié)合信譽數(shù)據(jù)，遴選出最適合的評審人。

評審人的選擇在基金評審中舉足輕重，是世界各國科學(xué)基金資助機構(gòu)共同關(guān)心的問題?，F(xiàn)在，申請人常常不信任機器的選擇，而單純依靠人為選擇也同樣可能影響公正性。我們希望能夠利用更先進(jìn)的人工智能技術(shù)，真正解決這個問題。這方面還需要凝聚科技界全體的智慧。

Frontiers通過AI協(xié)助審稿人和編輯提高效率

高質(zhì)量的同行評審是學(xué)術(shù)出版的基礎(chǔ)，證明研究假設(shè)、方法和結(jié)論的有效性、嚴(yán)謹(jǐn)性和正確性。出版商和審稿人面臨的挑戰(zhàn)是，在不斷增加的稿件提交面前，要保持嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)。

Frontiers(《前沿》系列期刊)在2018年推出下一代通常評審AIRA，試圖解決日益增長的稿件提交量，并更有效地保護(hù)稿件和同行評審質(zhì)量。

Frontiers聲稱，AIRA使用內(nèi)部自定義算法，同時使用iThenticate（CrossRef首創(chuàng)并與iParadigms公司共同開發(fā)出一個全新的，用于幫助學(xué)術(shù)出版者驗證出版文檔原創(chuàng)性的工具）和Ada（一款文字檢查工具）。所有這些都經(jīng)過Frontiers的10年同行評審經(jīng)驗的培訓(xùn)和嚴(yán)格測試，并完全融入Frontiers的協(xié)作評審論壇和內(nèi)部流程。

AIRA能夠通過分析稿件質(zhì)量、解釋和傳達(dá)審核流程，以及提供建議和識別潛在審稿人，為編輯、審稿人和內(nèi)部團(tuán)隊提供協(xié)助，并將通過持續(xù)學(xué)習(xí)不斷優(yōu)化。

上述功能已集成到Frontiers Review Forum和內(nèi)部工作流程中，簡化了投稿人在Frontiers的發(fā)布流程。

Frontiers首席執(zhí)行官兼聯(lián)合創(chuàng)始人Kamila Markram：“技術(shù)不能取代人，而是幫助人們能夠以更有效的方式做出編輯決策。AIRA可以讓我們的編輯、審稿人和內(nèi)部團(tuán)隊專注于在正確的時間做對的事并做出關(guān)鍵決策。這加快了審查過程并縮短了發(fā)布時間，同時確保了最高質(zhì)量的控制?！?/p>

AI致力于兩項關(guān)鍵同行評審任務(wù)

AIRA目前致力于兩項關(guān)鍵的同行評審任務(wù)：質(zhì)量控制和評審員識別。其算法可根據(jù)一系列質(zhì)量測量，快速準(zhǔn)確地評估提交的稿件，包括文本重疊；語言、人體圖像的存在以及其他道德因素。

達(dá)到既定質(zhì)量門檻的人員，將被傳遞給編輯；而任何有潛在問題的人員都會被標(biāo)記，并交由Frontiers的研究誠信和審查運營團(tuán)隊以進(jìn)行進(jìn)一步調(diào)查，并且在解決之前暫停一些審核工作。

AIRA的算法還根據(jù)專業(yè)知識和可用性，來識別潛在的審閱者，并檢查編輯、審閱者和作者之間是否存在潛在的利益沖突。

Frontiers的質(zhì)量和道德高級經(jīng)理MarieSoulière說：“它不僅標(biāo)記有潛在問題的稿件，還會告訴我們需要手動檢查的內(nèi)容，從而減少了審查疲勞并使審查更加準(zhǔn)確。AIRA還能夠提醒一些人工難以完成的檢查任務(wù)，例如抄襲?！?/p>

想用AI來匹配審稿人？目前可能還不行

但并非所有人都支持AI用在評審過程中。

英國劍橋RAND Europe研究機構(gòu)的科學(xué)政策專家Susan Guthrie指出，加拿大衛(wèi)生研究院在使用一種用于評審人員選擇的算法時就遇到了重大挑戰(zhàn)。

這個機構(gòu)于2016年聘請了RAND Europe公司對同行評審的研究進(jìn)行meta分析。而得出的結(jié)論有時可謂是大跌眼鏡：算法有時會選擇存在利益沖突、不適合或者沒有資格的審稿人。獨立專家小組的結(jié)論是：

雖然基于算法的匹配聽起來很有吸引力，但在人工智能的這個階段，它可能實現(xiàn)的目標(biāo)是有限的。審稿人的選擇必須主要依據(jù)科學(xué)的人類判斷。

威斯康辛州麥迪遜市教育分析公司的政策研究員Elizabeth Pier認(rèn)為，人工智能無法消除選擇偏見。

她擔(dān)心人工智能系統(tǒng)最終會復(fù)制人類判斷中根深蒂固的偏見，而不是避免它們。她建議國家自然科學(xué)基金委員會應(yīng)該做一項研究，將人工智能選擇的審稿人與人類選擇的審稿人進(jìn)行比較。李靜海對此表示，一旦系統(tǒng)建立并運行起來，自然科學(xué)基金委可能會考慮這一點。

“偉大的項目”需要時間的打磨

李靜海計劃在未來五年推出其他工具，使撥款系統(tǒng)更加公平， 其中包括一個獎勵系統(tǒng)，獎勵研究人員進(jìn)行良好、公平和及時的審查。他說，信用體系的理念是鼓勵審稿人認(rèn)真對待這份工作并保持專業(yè)度。

斯坦福大學(xué)的統(tǒng)計學(xué)家John Ioannidis對國家自然科學(xué)基金委員會在繪制提案時使用客觀、數(shù)據(jù)驅(qū)動的工具來選擇評審者的努力表示贊賞。但他認(rèn)為，目前很難評估評審者是否做出了正確的決定。Ioannidis說，一個想法可能需要幾十年的時間才能被鑒定是“偉大的”或是“無用的”。

但是李靜海已經(jīng)做好了準(zhǔn)備，他說：“這項任務(wù)不容易實現(xiàn)，需要在長期的學(xué)習(xí)和測試過程中不斷改進(jìn)?！?/p>

那么親愛的讀者，你贊同利用AI來輔助同行評審嗎？