近日微軟研究的 John Langford 討論了頂會(huì)到底應(yīng)不應(yīng)該提交代碼，因?yàn)椴煌芯恐黝}與領(lǐng)域?qū)Υa的需求不同，他表明代碼提交應(yīng)該鼓勵(lì)，但并不能強(qiáng)制。作為 ICML 2019 的程序主席，Russ Salakhutdinov 表示他贊成 John Langford 的觀點(diǎn)，他們?cè)?ICML 2019 的評(píng)審中也引入了代碼提交的選項(xiàng)。目前 ICML 2019 的評(píng)審結(jié)果已經(jīng)出來(lái)了，那么你們提交代碼了嗎？

ICML、ICLR 和 NeurIPS 都在嘗試將實(shí)驗(yàn)代碼和數(shù)據(jù)作為評(píng)審材料的一部分提交，它們鼓勵(lì)作者在評(píng)審或出版過(guò)程中提交代碼以幫助結(jié)果可復(fù)現(xiàn)。目前，研究結(jié)果的可復(fù)現(xiàn)性通過(guò)論文、workshop 和演講得到了很多討論，也受到越來(lái)越多的關(guān)注。

最基本的驅(qū)動(dòng)因素當(dāng)然是目前的研究結(jié)果缺少可復(fù)現(xiàn)性，很多優(yōu)秀研究都沒(méi)有提供對(duì)應(yīng)的代碼。對(duì)任何評(píng)審和出版來(lái)說(shuō)，可復(fù)現(xiàn)性的缺失是一個(gè)嚴(yán)肅的問(wèn)題。因?yàn)楹髞?lái)的研究者會(huì)基于先驅(qū)工作做一些新的東西，缺乏可復(fù)現(xiàn)性將有礙這一過(guò)程。

其實(shí)由于隨機(jī)初始化等機(jī)制缺乏可復(fù)現(xiàn)性，早期的神經(jīng)網(wǎng)絡(luò)研究并不受歡迎。雖然，目前證明神經(jīng)網(wǎng)絡(luò)的表征能力十分強(qiáng)大，但可復(fù)現(xiàn)性問(wèn)題仍然存在。此外，研究中我們總會(huì)潛在懷疑前沿工作的結(jié)果是有一些水分，而提供可復(fù)現(xiàn)的代碼能在一定程度上排除這樣的質(zhì)疑。

有了上面的觀點(diǎn)，John Langford 表明可復(fù)現(xiàn)性的支持者應(yīng)該將其理解為一個(gè)重要的屬性，但并不是唯一的屬性。例如，我們相信即使研究結(jié)果很難復(fù)現(xiàn)，但社區(qū)也能看到 AlphaGoZero 的發(fā)布。對(duì)于研究社區(qū)而言，真正有價(jià)值的是展示什么是可能的，而不是展示將圍棋代碼應(yīng)用到另一種游戲的可能性。真正有價(jià)值的是展示算法更多的可能性，盡管它可能連代碼都沒(méi)有發(fā)布。如果我們將可復(fù)現(xiàn)性作為絕對(duì)價(jià)值，那么我們很可能就錯(cuò)過(guò)了這樣的研究成果。

一個(gè)重要的觀念是，機(jī)器學(xué)習(xí)至少有三種研究：

算法：這種研究的目標(biāo)是發(fā)現(xiàn)一些更好的算法以解決各種學(xué)習(xí)問(wèn)題，這是頂會(huì)上最典型的類型。

理論：該研究的目標(biāo)是一般性地理解哪些學(xué)習(xí)算法是可能的，哪些是不可能的。雖然這些論文同樣可能提出算法，但它們通常并不要求一定要實(shí)現(xiàn)，這會(huì)浪費(fèi)作者、評(píng)審者和讀者的時(shí)間。

應(yīng)用：這一些研究的目標(biāo)是解決特定的任務(wù)。AlphaGoZero 就是一個(gè)合理的例子，它在圍棋上用算法擊敗了世界冠軍。對(duì)于這類研究而言，由于計(jì)算量大、數(shù)據(jù)所有權(quán)等特點(diǎn)，編程的可復(fù)現(xiàn)性可能不切實(shí)際。

如果使用一種「放之四海皆準(zhǔn)」的策略，要求每一篇論文都是可編程復(fù)現(xiàn)的，這種錯(cuò)誤會(huì)降低研究社區(qū)的活力與創(chuàng)新。保證這三方面的研究的基本需求，將豐富社區(qū)的各種新思想。

如果我們從更廣泛的角度來(lái)考慮這個(gè)論點(diǎn)，你是否希望醫(yī)療健康條例以所有科學(xué)研究為基礎(chǔ)，包括那些不公開(kāi)的數(shù)據(jù)？還是希望只以公共醫(yī)療領(lǐng)域的數(shù)據(jù)為基礎(chǔ)？后者等價(jià)于忽略大多數(shù)科學(xué)研究，只針對(duì)特定領(lǐng)域做決策會(huì)有更好的效果。

強(qiáng)制方法的替代是將代碼作為補(bǔ)充資料，附加材料在變化的評(píng)審過(guò)程中也能很好地追蹤、記錄。

在以前做機(jī)器學(xué)習(xí)研究時(shí)，論文不是雙盲的。社區(qū)因?yàn)樵u(píng)審公正性開(kāi)始使用雙盲機(jī)制，無(wú)論是什么資歷的作者和論文都能被公平評(píng)審。同時(shí)社區(qū)并不限制論文在發(fā)布前公布到 arXiv 上或者公開(kāi)討論，因?yàn)檫@會(huì)降低作者的研究效率。雙盲評(píng)審社區(qū)可能有不同觀念，但在 ML 領(lǐng)域這么做并沒(méi)分歧。

在以前做機(jī)器學(xué)習(xí)研究時(shí)，提交論文的頁(yè)數(shù)也有強(qiáng)制限制。對(duì)理論論文而言，證明部分不包括在內(nèi)。我們后來(lái)改變了評(píng)審流程，允許（不要求）提交附錄，便于評(píng)審使用。這為作者/評(píng)審增加了更多選擇，獲得了所有人的支持。

說(shuō)到復(fù)現(xiàn)，我們能為社區(qū)做什么？

如果評(píng)審能夠拿到底層代碼或者數(shù)據(jù)，是否能更好地做評(píng)審工作？

開(kāi)放代碼對(duì)作者有好處嗎？

開(kāi)發(fā)代碼對(duì)讀者有好處嗎？

如果準(zhǔn)確無(wú)誤，答案無(wú)疑是「yes」。

對(duì)評(píng)審而言，不為他們添加負(fù)擔(dān)非常重要。評(píng)審可能缺乏計(jì)算資源、平臺(tái)或者個(gè)人時(shí)間，無(wú)法完全復(fù)現(xiàn)論文結(jié)果。因此，我們應(yīng)該像附錄那樣查看代碼（和數(shù)據(jù)）提交，便于評(píng)審探究和使用。

對(duì)作者而言，放出代碼有兩個(gè)好處：提供額外的方法，說(shuō)服善于質(zhì)疑的評(píng)審；促進(jìn)后續(xù)的工作也這么做，很多高引用量的論文都開(kāi)放了源代碼。當(dāng)然，許多情況下不太可能放出代碼或者對(duì)作者沒(méi)好處。例如一篇理論論文，很可能算法不是重點(diǎn)，或者因?yàn)閿?shù)據(jù)所有權(quán)，代碼并不能完全公開(kāi)。從此來(lái)看，我們應(yīng)該有選擇的支持、鼓勵(lì)開(kāi)放代碼。

對(duì)讀者而言，附加代碼（和數(shù)據(jù)）明顯增加了一篇論文的深度價(jià)值。一些讀者可能用不到，但一些會(huì)用到（代碼），在許多情況下這能極大的降低使用該論文的壁壘。

鼓勵(lì)研究者添加附加實(shí)現(xiàn)，這也是 ICML2019 程序主席 Kamalika Chaudhuri 和 Ruslan Salakhutdinov 今年的策略。

除了鼓勵(lì)外，我們需要進(jìn)一步強(qiáng)制代碼提交嗎？考慮到一篇論文是否應(yīng)該發(fā)布，持懷疑態(tài)度的審稿人肯定可以將可重復(fù)性的價(jià)值與其他價(jià)值進(jìn)行權(quán)衡。因此有需要的話可以有附加代碼，但強(qiáng)制代替提交卻會(huì)降低其它價(jià)值。

我們應(yīng)該少添加一些附加材料嗎？我看不到理由：附加的方法能純粹改進(jìn)作者/評(píng)審/發(fā)布流程。不是每個(gè)人都能夠利用這些好處，但限制其他人利用這些好處就很不合情理了。

最后值得一提的是，今年 ICML 的代碼提交流程是個(gè)嘗試。我們希望所有的程序主席能夠作此嘗試，因?yàn)檫@是改進(jìn)的開(kāi)始。我們應(yīng)該盡全力嘗試這樣的工作，評(píng)估得失，預(yù)期明年的調(diào)整。