最新一期《ACM通訊》發(fā)表專欄文章，以深度神經(jīng)網(wǎng)絡(luò)研究起起伏伏的歷史為例，提醒人們“將研究視為一場漫長的競賽，才有可能獲得真正的突破”。

最新一期《ACM通訊》發(fā)表專欄文章，以深度神經(jīng)網(wǎng)絡(luò)從備受懷疑，到2018年Geoffrey Hinton、Yoshua Bengio和Yann LeCun獲得圖靈獎的一段漫長歷史為例，提醒人們“將研究視為一場漫長的競賽，才有可能獲得真正的突破”。

本文作者M(jìn)oshe Y. Vardi是以色列著名數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家，美國萊斯大學(xué)計(jì)算機(jī)科學(xué)教授、Ken Kennedy信息技術(shù)研究所所長。

Moshe Y. Vardi

Yann LeCun也在Twitter上推薦了這篇文章：

研究是一場漫長的競賽，耐心和耐力都是必要的

位于加州帕洛阿爾托的未來研究所(IFTF)是一家美國智庫。它成立于1968年，是蘭德公司(RAND Corporation)的一個分支機(jī)構(gòu)，旨在幫助企業(yè)規(guī)劃長遠(yuǎn)的未來。

羅伊·阿瑪拉(Roy Amara)從1971年至1990年擔(dān)任IFTF主席，他于2007年去世。阿瑪拉最著名的是創(chuàng)造了關(guān)于技術(shù)效果的阿瑪拉定律(Amara's Law)：“人們總是高估一項(xiàng)科技所帶來的短期效益，卻又低估它的長期影響。”Gartner的“技術(shù)炒作周期”最能說明這一規(guī)律，它的特征是“過高期望的峰值”，接著是“泡沫化的低谷期”，然后是“穩(wěn)步爬升的光明期”，最后是“實(shí)質(zhì)生產(chǎn)的高原期”。

當(dāng)我聽說2018年圖靈獎被授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun，以表彰他們“在概念和工程上的突破，使深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算的關(guān)鍵組成部分”時，我不禁想起阿瑪拉定律。這個決定并不十分令人驚訝。畢竟，很難想象還有什么其他計(jì)算技術(shù)在過去十年中有如此引人注目的表現(xiàn)和影響。引用圖靈獎的公告：“近年來，深度學(xué)習(xí)方法一直是計(jì)算機(jī)視覺、語音識別、自然語言處理和機(jī)器人技術(shù)等應(yīng)用領(lǐng)域取得驚人突破的重要原因?！?/p>

但是，為了將這一貢獻(xiàn)置于適當(dāng)?shù)臍v史背景中，有必要反思神經(jīng)網(wǎng)絡(luò)的悠久歷史。1943年，神經(jīng)生理學(xué)家沃倫·麥卡洛克(Warren McCulloch)和年輕的數(shù)學(xué)家沃爾特·皮茨(Walter Pitts)寫了一篇關(guān)于大腦神經(jīng)元如何工作的論文。他們用電路模擬了一個簡單的神經(jīng)網(wǎng)絡(luò)。1958年，康奈爾大學(xué)的神經(jīng)生物學(xué)家弗蘭克·羅森布拉特(Frank Rosenblatt)發(fā)明了感知器(Perceptron)，一個單層的神經(jīng)網(wǎng)絡(luò)。《紐約時報》報道稱，感知器是“一臺電子計(jì)算機(jī)的雛形，(海軍)希望它能夠走路、說話、看、寫、自我復(fù)制，并意識到自己的存在?！辈恍业氖?，感知器是非常有限的，這在Marvin Minsky和Seymour Papert 1969年的著作“Perceptrons”中得到了證明。炒作達(dá)到頂峰后，隨之而來的是幻滅的低谷。這個所謂的“第一個AI冬天”，除其他外，還體現(xiàn)在AI研究經(jīng)費(fèi)的下降上，一直持續(xù)到上世紀(jì)80年代初。

1982年，加州理工學(xué)院的約翰·霍普菲爾德(John Hopfield)發(fā)表了一篇論文（Neural networks and physical systems with emergent collective computational abilities，被稱為Hopfield Network），其重點(diǎn)不是建模大腦，而是創(chuàng)造有用的設(shè)備。他用清晰的數(shù)學(xué)方法，展示了這樣的網(wǎng)絡(luò)是如何工作的，以及它們能做什么。大約在同一時間，美國-日本合作在日本京都舉行“合作/競爭神經(jīng)網(wǎng)絡(luò)聯(lián)合會議”。隨后，日本宣布“第五代項(xiàng)目”。美國期刊刊登了這篇報道，引發(fā)了人們對美國可能會落后的擔(dān)憂。不久，資金再次流入。神經(jīng)信息處理系統(tǒng)大會(NIPS)于1987年召開。然而，炒作的新高峰之后，又一次出現(xiàn)了幻滅的低谷。再次引用圖靈獎的公告：“到21世紀(jì)初，LeCun、Hinton和Bengio是堅(jiān)持這種方法的一小群人中的成員?！笔聦?shí)上，他們重新點(diǎn)燃AI社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣的努力最初遭到了質(zhì)疑。這種幻滅導(dǎo)致了“第二個AI冬天”，一直持續(xù)到上世紀(jì)90年代。

直到本世紀(jì)初，改進(jìn)的算法、改進(jìn)的硬件(GPU)，以及非常大的數(shù)據(jù)集(ImageNet有1400萬多個標(biāo)記圖像)結(jié)合起來，達(dá)成了令人印象深刻的突破。并且很明顯，很深(很多層的)機(jī)器視覺神經(jīng)網(wǎng)絡(luò)有顯著在效率和速度方面具有顯著的優(yōu)勢。Hinton和他的同事們的想法帶來了重大的技術(shù)進(jìn)步，他們的方法現(xiàn)在已經(jīng)該領(lǐng)域的主導(dǎo)范式，并因此獲得了2018年圖靈獎。

這個故事的寓意是，研究是一場漫長的競賽；耐心和耐力都是必要的。然而，我記得上世紀(jì)90年代初，在一個工業(yè)研究實(shí)驗(yàn)室舉行的一次研究評估會議上，有人在數(shù)據(jù)挖掘方面的開創(chuàng)性工作沒有得到認(rèn)可，因?yàn)椤八呀?jīng)做了兩年了，現(xiàn)在還不清楚這項(xiàng)工作是否會有什么進(jìn)展。”我與普林斯頓大學(xué)高級研究院創(chuàng)始人Abraham Flexner有著同樣的擔(dān)憂；在1939年發(fā)表的《論無用知識的有用性》(The Usefulness of Useless Knowledge)一文中，F(xiàn)lexner探討了一種危險的傾向，即為了所謂的實(shí)用主義而放棄純粹的好奇心。

成功的研究沒有單一的公式。有時候，把注意力集中在眼前的問題上是有意義的，但是，通常情況下，將研究視為一場漫長的競賽，才可以獲得戲劇性的突破。