前幾日，OpenAI發(fā)布史上最強(qiáng)“通用”NLP模型，但號稱過于強(qiáng)大怕被濫用而沒有開源，遭到網(wǎng)友猛懟、炮轟。而做為創(chuàng)始人之一的馬斯克，雖然早已離開董事會，礙于輿論，不得不站出來做出澄清：我早已退出。

OpenAI發(fā)布的史上最強(qiáng)NLP似乎成了負(fù)面新聞。

原因是，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個僅含117M參數(shù)的樣本模型及代碼，給到的理由：因為這個模型能力太強(qiáng)大了！他們目前還有點hold不住它。一旦開源后被壞人拿到，將會貽害無窮。

之后有網(wǎng)友氣不過跑到馬斯克推特底下，叫罵OpenAI干脆改名CloseAI。

然而，馬斯克卻連發(fā)數(shù)文，澄清與OpenAI的關(guān)系：我早已退出。

馬斯克表示，已經(jīng)有一年多的時間沒有和OpenAI密切合作了，并且也沒有管理層和董事會的監(jiān)督。

而后有網(wǎng)友追問：“一直不知道你為何離開OpenAI，可否給予詳細(xì)的解釋說明？”

馬斯克便又在推特上補(bǔ)充道：

我必須集中精力解決大量讓人頭疼的工程和制造問題，尤其是在特斯拉和SpaceX方面。

此外，特斯拉與OpenAI在人才爭奪方面也有一些交集，我并不同意其團(tuán)隊想要做的一些事情。綜上所述，希望最好是友好分手。

曾是人工智能的反對者，卻創(chuàng)立高端AI公司

2015年12月，馬斯克與Y Combinator總裁Sam Altman共同創(chuàng)立這個非營利組織研究機(jī)構(gòu)，以研究人工智能的道德和安全問題。

然而，在親手創(chuàng)辦兩年多后，伊隆·馬斯克退出了OpenAI董事會。

雖然馬斯克于去年2月離開了該組織，但卻一直被認(rèn)為是OpenAI主要資助者之一。

官博地址：

https://blog.openai.com/openai-supporters/

OpenAI在去年2月20日發(fā)布的官方博客中也提到：“馬斯克將離開OpenAI董事會，但仍將繼續(xù)為該組織提供捐贈和建議。隨著特斯拉將更加關(guān)注人工智能，這將消除馬斯克未來潛在的沖突?！?/p>

值得注意的是，馬斯克一直是人工智能最大的批評者之一。2014年在麻省理工學(xué)院演講時，他將人工智能描述為“存在的最大威脅”，甚至稱之為“召喚惡魔”。

他還認(rèn)為人工智能甚至可以導(dǎo)致第三次世界大戰(zhàn)。他補(bǔ)充稱，大國之間都不會故意發(fā)動核戰(zhàn)爭，但人工智能將是最有可能的、先發(fā)制人的取勝之道。

OpenAI稱模型使用15億參數(shù)，訓(xùn)練一小時相當(dāng)于燒掉一臺iPhone Xs Max（512G）

馬斯克之所以被@出來說明一個問題：Elon離開OpenAI的消息，還有很多人不知道，或者知道他已經(jīng)離開了董事會卻不知為何，導(dǎo)致他又特意出來發(fā)推澄清一下，順便又蹭了一下OpenAI最近的熱點。

OpenAI近日宣稱他們研究出一個GPT-2的NLP模型，號稱“史上最強(qiáng)通用NLP模型”，因為它是：

踩在15億參數(shù)的身體上：爬取了Reddit上點贊超過三票的鏈接的文本內(nèi)容，大約用到1000萬篇文章，數(shù)據(jù)體量超過了40G，相當(dāng)于35000本《白鯨記》。（注：小說約有21萬單詞，是電影《加勒比海盜》的重要故事參考來源之一。動漫《海賊王》里四皇之一的白胡子海賊團(tuán)的旗艦就是以故事主角大白鯨的名字Moby Dick命名）。

無需預(yù)訓(xùn)練的“zero-shot”：在更通用的數(shù)據(jù)集基礎(chǔ)上，使用自注意力模塊遷移學(xué)習(xí)，不針對任何特定任務(wù)的數(shù)據(jù)進(jìn)行訓(xùn)練，只是作為最終測試對數(shù)據(jù)進(jìn)行評估，在Winograd Schema、LAMBADA以及其他語言建模任務(wù)上實現(xiàn)了state-of-the-art 的結(jié)果。

最終結(jié)果：8個數(shù)據(jù)集中油7個刷新當(dāng)前最佳紀(jì)錄。

下表顯示了最先進(jìn)的zero-shot結(jié)果。(+)表示該項分?jǐn)?shù)越高越好。(-)表示分?jǐn)?shù)越低越好。

雖然OpenAI沒有在論文中提及具體的計算力及訓(xùn)練時間，但通過公布的數(shù)據(jù)推測，他們的模型使用了256個谷歌云TPU v3。

TPU v3在Google之外只提供單獨使用版本(排除OpenAI可能得到了特別的許可)，很可能GPT-2訓(xùn)練時所需的成本將高達(dá)8 * 256 = 2048美元/小時，相當(dāng)于一小時燒掉一臺512G的iPhone Xs Max。

然而，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個僅含117M參數(shù)的樣本模型及代碼，相當(dāng)于他們宣稱使用的數(shù)據(jù)量的0.29%。（有興趣的讀者可以去 https://github.com/openai/gpt-2 查看）

OpenAI給出的理由是：因為這個模型能力太強(qiáng)大了！他們目前還有點hold不住它。一旦開源后被壞人拿到，將會貽害無窮。有點中國武俠小說里，絕世武功秘籍的意思。

面臨著實驗重現(xiàn)的危機(jī)，網(wǎng)友吐槽：不公開代碼和訓(xùn)練集就干脆別發(fā)表！

于是開發(fā)者和學(xué)者們不干了，紛紛質(zhì)疑OpenAI這種做法顯得心口不一。甚至盛產(chǎn)吐槽大神的Reddit上，有人建議OpenAI干脆改名CloseAI的言論，獲得了數(shù)百網(wǎng)友的點贊。

OpenAI干脆改名“CloseAI”算了！

我也做了個超強(qiáng)大的MNIST模型，要不要擔(dān)心它被濫用而不公開呢？

更有甚者，比如下面這位Ben Recht，還發(fā)了一條Twitter長文進(jìn)行嘲諷：

今天我要介紹我們的論文“Do ImageNet Classifiers Generalize to ImageNet?”我們嘗試按照原論文描述復(fù)現(xiàn)其結(jié)果，但發(fā)現(xiàn)這樣做實在太難！

……我們完全可以基于一個不能公開的數(shù)據(jù)集構(gòu)建一個超大模型，在我們自己的標(biāo)準(zhǔn)ML范式中很難發(fā)生過擬合。

但是，測試集上的一個微小改動就會導(dǎo)致分布結(jié)果大幅變化，你可以想見把模型和代碼全都公布出來以后會發(fā)生什么！

PS 這篇論文還在arxiv等候?qū)徍税l(fā)布，要不是我們的最終版PDF過大，那就是因為arxiv也學(xué)著OpenAI的做法，覺得AI/ML研究太過危險而不能公開。

因為人工智能這個蓬勃發(fā)展的領(lǐng)域正面臨著實驗重現(xiàn)的危機(jī)，AI研究者發(fā)現(xiàn)他們很難重現(xiàn)許多關(guān)鍵的結(jié)果。

針對主要會議上發(fā)表的400篇AI論文的調(diào)查顯示，只有6％的論文包含算法的代碼，約30％包含測試數(shù)據(jù)，54％包含偽代碼。

CREDITS: (GRAPHIC) E. HAND/SCIENCE; (DATA) GUNDERSEN AND KJENSMO, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE 2018

去年，加拿大蒙特利爾大學(xué)的計算機(jī)科學(xué)家們希望展示一種新的語音識別算法，他們希望將其與一名著名科學(xué)家的算法進(jìn)行比較。

唯一的問題：該benchmark的源代碼沒有發(fā)布。研究人員不得不從已公開發(fā)表的描述中重現(xiàn)這一算法。

但是他們重現(xiàn)的版本無法與benchmark聲稱的性能相符。蒙特利爾大學(xué)實驗室博士生Nan Rosemary Ke說：“我們嘗試了2個月，但都無法接近基準(zhǔn)的性能?！?/p>

另外一群人更擔(dān)心GPT-2會導(dǎo)致假新聞出現(xiàn)井噴。OpenAI也拿DeepFake舉了個例子。

DeepFake由于其強(qiáng)大的圖像生成能力，成了一個“假臉生成器/換臉器”，制造出大量惡意的虛假視頻、音頻和圖像，最終被禁用。

比如這次，不懷好意的人完全可以借助GPT-2，發(fā)布有關(guān)Elon的假新聞，說他雖然公開宣稱去年就退出OpenAI，但實際上私下還在OpenAI身居要職，恐怕也會有很多人相信。

技術(shù)是把雙刃劍，越是強(qiáng)大的技術(shù)，一旦被用于壞用途，約可能造成更壞的結(jié)果。那么在這場意外掀起的激烈爭論中，你站在哪一邊呢？