研究想法能否成功要看是否具備合適的軟硬件，而不是這個想法是否比其他研究方向優(yōu)秀。

天時、地利、人和，三者不得，雖勝有殃。

——《孫子兵法》

一件事的成敗總會牽涉多個因素，例如兵法中的「天時」、「地利」、「人和」。在計算機(jī)科學(xué)歷史上，也有類似的現(xiàn)象，如「硬件」、「軟件」、「算法」三要素對研究想法成敗的影響。

近日，谷歌大腦研究員 Sara Hooker 寫了一篇論文，她用「硬件彩票」（hardware lottery）來描述：一個研究想法的成功是因為具備了合適的軟硬件，而不是這個想法比其他研究方向更加優(yōu)秀。早期計算機(jī)科學(xué)史的許多例子表明，硬件彩票通過把成功的研究想法看作失敗，而拖慢了研究進(jìn)度。而領(lǐng)域?qū)Ｓ糜布某霈F(xiàn)使研究想法偏離慣常路徑的成本增加，這就讓這一現(xiàn)象更加顯著。

論文地址：

https://arxiv.org/pdf/2009.06489v1.pdf

這篇論文指出，算力進(jìn)步帶來的收獲可能更加不均勻，某些研究方向走上了快車道，而有的則困難重重。

人工智能領(lǐng)域，硬件決定 idea 的成敗

歷史告訴我們，科學(xué)進(jìn)展并非是一帆風(fēng)順的。知識傳統(tǒng)和可用工具會使科學(xué)家對特定想法形成不同的認(rèn)知，這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出，在人工智能研究領(lǐng)域中，工具對于判斷研究想法的成敗起到了絕大部分的作用。

這篇論文用「硬件彩票」來描述這一現(xiàn)象：一個研究想法的成功是因為它可以與當(dāng)時的軟硬件兼容，而不是因為這個想法比其他研究方向優(yōu)秀。在早期計算機(jī)科學(xué)史上，軟硬件選擇常常對決定研究想法的成敗起到?jīng)Q定性作用。

隨著我們進(jìn)入軟件、硬件和機(jī)器學(xué)習(xí)研究社區(qū)更加緊密合作的新時代，這些經(jīng)驗愈發(fā)凸顯。過去幾十年，人們將硬件、軟件和算法看作割裂的選項，但促使近期三者更加緊密協(xié)作的催化劑就包括正在改變的硬件、深度學(xué)習(xí)架構(gòu)「規(guī)模越大性能越好」的理念，以及將機(jī)器學(xué)習(xí)部署到邊緣設(shè)備的需求。

軟硬件和機(jī)器學(xué)習(xí)算法之間更緊密合作的核心是新一代領(lǐng)域?qū)Ｓ糜布?，它們針對深?a href="http://www.makelele.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)的商用進(jìn)行了優(yōu)化。盡管領(lǐng)域?qū)Ｓ糜布橹髁魃疃壬窠?jīng)網(wǎng)絡(luò)研究帶來了重要的效率提升，但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場意味著基于算力進(jìn)展獲得的收益將變得更加不均衡。盡管深度神經(jīng)網(wǎng)絡(luò)已經(jīng)有了明確的商用場景，但目前已經(jīng)出現(xiàn)了早期信號，提醒我們要實現(xiàn) AI 的下一個突破可能需要完全不同的算法、硬件和軟件組合。

硬件、軟件、算法：三個獨立的部落

對于首批計算機(jī)的創(chuàng)造者而言，程序是機(jī)器。早期的機(jī)器是單獨使用的，且不會適應(yīng)新的任務(wù)，原因在于電子器件成本高且缺乏跨任務(wù)的軟件。

查爾斯 · 巴貝奇的差分機(jī)僅用于計算多項式函數(shù) （1817）。美國第一部大尺度自動數(shù)位電腦馬克一號（Mark I）是可編程計算器（1944）。Rosenblatt 的感知器用來計算 step-wise 單層網(wǎng)絡(luò)（1958）。甚至常被認(rèn)為是首批可編程機(jī)器的雅卡爾織布機(jī)重新穿孔的成本也很高，因此它通常只穿孔一次 （1804）。

這些早期計算機(jī)的專用性是出于當(dāng)時的需要，而不是計算機(jī)設(shè)計師認(rèn)為一次性的定制硬件更好。但是，需要指出的是，人類智能本身就是算法和機(jī)器的結(jié)合。我們一生中不會長出多個大腦。而人類智能的概念本質(zhì)上與 1400g 腦組織和大腦中 850 億神經(jīng)元之間的連接密切相關(guān)。當(dāng)我們談?wù)撊祟愔悄軙r，你腦海中浮現(xiàn)出的圖像可能是粉色帶褶皺的一團(tuán)（