近日微軟研究的 John Langford 討論了頂會到底應(yīng)不應(yīng)該提交代碼，因為不同研究主題與領(lǐng)域?qū)Υa的需求不同，他表明代碼提交應(yīng)該鼓勵，但并不能強制。作為 ICML 2019 的程序主席，Russ Salakhutdinov 表示他贊成 John Langford 的觀點，他們在 ICML 2019 的評審中也引入了代碼提交的選項。目前 ICML 2019 的評審結(jié)果已經(jīng)出來了，那么你們提交代碼了嗎？

ICML、ICLR 和 NeurIPS 都在嘗試將實驗代碼和數(shù)據(jù)作為評審材料的一部分提交，它們鼓勵作者在評審或出版過程中提交代碼以幫助結(jié)果可復(fù)現(xiàn)。目前，研究結(jié)果的可復(fù)現(xiàn)性通過論文、workshop 和演講得到了很多討論，也受到越來越多的關(guān)注。

最基本的驅(qū)動因素當然是目前的研究結(jié)果缺少可復(fù)現(xiàn)性，很多優(yōu)秀研究都沒有提供對應(yīng)的代碼。對任何評審和出版來說，可復(fù)現(xiàn)性的缺失是一個嚴肅的問題。因為后來的研究者會基于先驅(qū)工作做一些新的東西，缺乏可復(fù)現(xiàn)性將有礙這一過程。

其實由于隨機初始化等機制缺乏可復(fù)現(xiàn)性，早期的神經(jīng)網(wǎng)絡(luò)研究并不受歡迎。雖然，目前證明神經(jīng)網(wǎng)絡(luò)的表征能力十分強大，但可復(fù)現(xiàn)性問題仍然存在。此外，研究中我們總會潛在懷疑前沿工作的結(jié)果是有一些水分，而提供可復(fù)現(xiàn)的代碼能在一定程度上排除這樣的質(zhì)疑。

有了上面的觀點，John Langford 表明可復(fù)現(xiàn)性的支持者應(yīng)該將其理解為一個重要的屬性，但并不是唯一的屬性。例如，我們相信即使研究結(jié)果很難復(fù)現(xiàn)，但社區(qū)也能看到 AlphaGoZero 的發(fā)布。對于研究社區(qū)而言，真正有價值的是展示什么是可能的，而不是展示將圍棋代碼應(yīng)用到另一種游戲的可能性。真正有價值的是展示算法更多的可能性，盡管它可能連代碼都沒有發(fā)布。如果我們將可復(fù)現(xiàn)性作為絕對價值，那么我們很可能就錯過了這樣的研究成果。

一個重要的觀念是，機器學(xué)習(xí)至少有三種研究：

算法：這種研究的目標是發(fā)現(xiàn)一些更好的算法以解決各種學(xué)習(xí)問題，這是頂會上最典型的類型。

理論：該研究的目標是一般性地理解哪些學(xué)習(xí)算法是可能的，哪些是不可能的。雖然這些論文同樣可能提出算法，但它們通常并不要求一定要實現(xiàn)，這會浪費作者、評審者和讀者的時間。

應(yīng)用：這一些研究的目標是解決特定的任務(wù)。AlphaGoZero 就是一個合理的例子，它在圍棋上用算法擊敗了世界冠軍。對于這類研究而言，由于計算量大、數(shù)據(jù)所有權(quán)等特點，編程的可復(fù)現(xiàn)性可能不切實際。

如果使用一種「放之四海皆準」的策略，要求每一篇論文都是可編程復(fù)現(xiàn)的，這種錯誤會降低研究社區(qū)的活力與創(chuàng)新。保證這三方面的研究的基本需求，將豐富社區(qū)的各種新思想。

如果我們從更廣泛的角度來考慮這個論點，你是否希望醫(yī)療健康條例以所有科學(xué)研究為基礎(chǔ)，包括那些不公開的數(shù)據(jù)？還是希望只以公共醫(yī)療領(lǐng)域的數(shù)據(jù)為基礎(chǔ)？后者等價于忽略大多數(shù)科學(xué)研究，只針對特定領(lǐng)域做決策會有更好的效果。

強制方法的替代是將代碼作為補充資料，附加材料在變化的評審過程中也能很好地追蹤、記錄。

在以前做機器學(xué)習(xí)研究時，論文不是雙盲的。社區(qū)因為評審公正性開始使用雙盲機制，無論是什么資歷的作者和論文都能被公平評審。同時社區(qū)并不限制論文在發(fā)布前公布到 arXiv 上或者公開討論，因為這會降低作者的研究效率。雙盲評審社區(qū)可能有不同觀念，但在 ML 領(lǐng)域這么做并沒分歧。

在以前做機器學(xué)習(xí)研究時，提交論文的頁數(shù)也有強制限制。對理論論文而言，證明部分不包括在內(nèi)。我們后來改變了評審流程，允許（不要求）提交附錄，便于評審使用。這為作者/評審增加了更多選擇，獲得了所有人的支持。

說到復(fù)現(xiàn)，我們能為社區(qū)做什么？

如果評審能夠拿到底層代碼或者數(shù)據(jù)，是否能更好地做評審工作？

開放代碼對作者有好處嗎？

開發(fā)代碼對讀者有好處嗎？

如果準確無誤，答案無疑是「yes」。

對評審而言，不為他們添加負擔非常重要。評審可能缺乏計算資源、平臺或者個人時間，無法完全復(fù)現(xiàn)論文結(jié)果。因此，我們應(yīng)該像附錄那樣查看代碼（和數(shù)據(jù)）提交，便于評審探究和使用。

對作者而言，放出代碼有兩個好處：提供額外的方法，說服善于質(zhì)疑的評審；促進后續(xù)的工作也這么做，很多高引用量的論文都開放了源代碼。當然，許多情況下不太可能放出代碼或者對作者沒好處。例如一篇理論論文，很可能算法不是重點，或者因為數(shù)據(jù)所有權(quán)，代碼并不能完全公開。從此來看，我們應(yīng)該有選擇的支持、鼓勵開放代碼。

對讀者而言，附加代碼（和數(shù)據(jù)）明顯增加了一篇論文的深度價值。一些讀者可能用不到，但一些會用到（代碼），在許多情況下這能極大的降低使用該論文的壁壘。

鼓勵研究者添加附加實現(xiàn)，這也是 ICML2019 程序主席 Kamalika Chaudhuri 和 Ruslan Salakhutdinov 今年的策略。

除了鼓勵外，我們需要進一步強制代碼提交嗎？考慮到一篇論文是否應(yīng)該發(fā)布，持懷疑態(tài)度的審稿人肯定可以將可重復(fù)性的價值與其他價值進行權(quán)衡。因此有需要的話可以有附加代碼，但強制代替提交卻會降低其它價值。

我們應(yīng)該少添加一些附加材料嗎？我看不到理由：附加的方法能純粹改進作者/評審/發(fā)布流程。不是每個人都能夠利用這些好處，但限制其他人利用這些好處就很不合情理了。

最后值得一提的是，今年 ICML 的代碼提交流程是個嘗試。我們希望所有的程序主席能夠作此嘗試，因為這是改進的開始。我們應(yīng)該盡全力嘗試這樣的工作，評估得失，預(yù)期明年的調(diào)整。