各自上路，改寫AI故事。

谷歌人工智能領(lǐng)域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員Llion Jones證實，他將于本月晚些時候離開谷歌日本公司并計劃在休假后創(chuàng)辦一家公司。

Llion Jones對媒體表示："離開谷歌并不是一個容易的決定，與谷歌一起度過了美妙的十年，但現(xiàn)在是時候嘗試一些不同的東西了?？紤]到人工智能的發(fā)展勢頭和進(jìn)展，我覺得現(xiàn)在也是建立新公司的好時機"。

自2017年出版以來，《Attention Is All You Need》轟動硅谷。該論文介紹了Transformer的概念，這種系統(tǒng)可以幫助人工智能模型將其正在分析的數(shù)據(jù)中最重要的信息歸零。Transformer 現(xiàn)在是大型語言模型的關(guān)鍵構(gòu)建塊，該技術(shù)是 OpenAI 的 ChatGPT 等流行人工智能產(chǎn)品的基礎(chǔ)。

隨著Llion Jones的離開，這篇論文所有八位作者都已離開谷歌。

人們也許不認(rèn)識他們的臉，或者沒聽過他的名字，但只需要5秒鐘，就可以介紹他們的身份——“他們創(chuàng)作了ChatGPT中的“T”。

來源：PitchBook

谷歌為何失去“Transformer八子”

Transfomer是谷歌最重要的發(fā)明之一，它最初是在午餐時設(shè)計出來的。2017年，Alphabet公司加利福尼亞山景城總部的研究人員在中午用餐時談?wù)撊绾巫層嬎銠C更高效地生成文本。在接下來的5個月里，他們進(jìn)行了實驗，并在沒有意識到他們所發(fā)現(xiàn)的問題的重要性的情況下，將他們的發(fā)現(xiàn)寫成了一篇名為 《Attention is All You Need 》的研究論文。

隨后，他們帶來了人工智能的飛躍。

這篇論文的八位作者創(chuàng)建了Transformer系統(tǒng)，使機器能夠比以往任何時候都更高效地生成類似人類的文本、圖像、DNA序列和許多其他類型的數(shù)據(jù)。他們的論文最終被其他研究人員引用了8萬多次，他們設(shè)計的人工智能架構(gòu)為OpenAI的ChatGPT（"T "代表Transformer）、Midjourney等圖像生成工具提供了基礎(chǔ)。

谷歌與全世界分享了這一發(fā)現(xiàn)，科技公司經(jīng)常開源新技術(shù)，以獲得反饋、吸引人才和建立支持者社區(qū)。

但谷歌本身并沒有立即使用這項新技術(shù)。在谷歌努力將其尖端研究成果轉(zhuǎn)化為可用服務(wù)的過程中，該系統(tǒng)處于相對休眠狀態(tài)長達(dá)數(shù)年之久。但另一家公司OpenAI，它利用了谷歌的發(fā)明，對這家搜索巨頭發(fā)起了多年來最嚴(yán)重的威脅。

谷歌哪里出了問題？

一個明顯的問題是規(guī)模。根據(jù)人工智能公司 Glass.ai 的估計，谷歌擁有一支由 7,133 名員工組成的隊伍，而其員工總數(shù)約為 140,000 人。Glass.ai 今年早些時候掃描了 LinkedIn 的個人資料，以識別大型科技公司的人工智能員工。相比之下，OpenAI 引發(fā)了一場 AI 軍備競賽，其員工規(guī)模要小得多——到 2023 年，大約 375 名員工中約有 150 名 AI 研究人員。

谷歌的龐大規(guī)模意味著科學(xué)家和工程師在創(chuàng)建 Transformer 時必須經(jīng)過多層管理才能批準(zhǔn)想法。谷歌智庫（該公司主要人工智能部門之一）的研究人員也缺乏明確的戰(zhàn)略方向，導(dǎo)致許多人沉迷于職業(yè)發(fā)展和研究論文的知名度。

另一個問題在于，將創(chuàng)意轉(zhuǎn)化為新產(chǎn)品的門檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來時說道，“除非（一個想法）能成為一項價值十億美元的業(yè)務(wù)，否則谷歌不會采取行動。”但建立一個價值十億美元的業(yè)務(wù)需要不斷的迭代和面對大量問題，這是谷歌并不總是容忍的。

谷歌的一位女發(fā)言人表示，該公司 "為我們在Transformer的行業(yè)定義性、突破性工作感到自豪，并為它所創(chuàng)造的人工智能生態(tài)系統(tǒng)而感到振奮，包括讓我們的研究員在谷歌公司外推進(jìn)他們的研究與其他人合作并且發(fā)現(xiàn)新機會。"

德語流利的 Uszkoreit 注意到，這項新技術(shù)可以比谷歌翻譯更準(zhǔn)確地將英語翻譯成德語。但谷歌本身花了很長時間才將該技術(shù)應(yīng)用到其免費翻譯工具或其語言模型 BERT 中，而且該公司從未將其部署在任何人都可以測試的聊天機器人中。也就是說，直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發(fā)布了Bard。

多年來，這些研究員們見證了他們的想法被其他人應(yīng)用到一系列任務(wù)中，從 OpenAI 的 ChatGPT 早期迭代到 DALL-E，從 Midjourney 的圖像工具到 DeepMind 的蛋白質(zhì)折疊系統(tǒng) AlphaFold。很難不注意到最令人興奮的創(chuàng)新發(fā)生在山景城之外。

在某種程度上，谷歌成為了自身成功的受害者。它的隊伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學(xué)家，并且在 2017 年就已經(jīng)在使用尖端的人工智能技術(shù)來處理文本。許多研究人員的心態(tài)是“如果它沒有壞，就不要修理它?！?/p>

價值40億美元的AI巨星們

共同撰寫2017年論文的研究人員離開谷歌后，他們繼續(xù)創(chuàng)辦創(chuàng)業(yè)公司，包括生產(chǎn)企業(yè)軟件的Cohere，以及由Noam Shazeer創(chuàng)辦的Character.ai，Noam Shazeer是該小組中在谷歌任職時間最長的人，曾被視為公司的人工智能傳奇人物。

根據(jù)研究公司Pitchbook和價格追蹤網(wǎng)站CoinMarketCap的估值統(tǒng)計，他們的企業(yè)總價值約為41億美元?？梢哉f，他們是硅谷的人工智能的“貴族”。

八位作者在谷歌的工作時長

Polosukhin此后創(chuàng)辦了一家區(qū)塊鏈公司。Vaswani和 Niki Parmar 創(chuàng)辦了企業(yè)軟件公司 Essential.ai。Uszkoreit 喜歡挑戰(zhàn)人工智能研究的現(xiàn)狀——他的觀點是，如果它還沒有被打破，那就打破它，此后他與他人共同創(chuàng)立了一家名為 Inceptive Nucleics 的生物技術(shù)公司。

2016 年，Uszkoreit探索了人工智能中“注意力”的概念，即計算機區(qū)分?jǐn)?shù)據(jù)集中最重要的信息。一年后的午餐時，三人討論了如何利用這個想法來更有效地翻譯單詞。當(dāng)時的谷歌翻譯很笨拙，尤其是對于非拉丁語言?！皾h語轉(zhuǎn)俄語太糟糕了，”Polosukhin回憶道。

其中一個問題在于循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列中的單詞。它很慢并且沒有充分利用可以同時處理大量任務(wù)的芯片。家用計算機中的 CPU 可能有四個“核心”，用于處理和執(zhí)行指令，但用于處理人工智能系統(tǒng)的服務(wù)器中的 CPU 有數(shù)千個核心。這意味著人工智能模型可以同時“讀取”句子中的許多單詞。沒有人充分利用這一點。

Uszkoreit 會在 Google 辦公室里走來走去，在白板上畫出新架構(gòu)的圖表，并且經(jīng)常遭到懷疑。瓊斯說，他的團(tuán)隊希望刪除當(dāng)時使用的循環(huán)神經(jīng)網(wǎng)絡(luò)中的“循環(huán)”部分，這“聽起來很瘋狂”。但隨著Parmar, Aidan Gomez和 Lukasz Kaiser等其他一些研究人員加入該小組，他們開始看到進(jìn)展。

曾經(jīng)，硅谷“八叛逆”改變了集成電路的歷史，如今谷歌的“八叛逆”會給世界帶來怎樣的變化？