什么是奇點(diǎn)（Singularity）？奇點(diǎn)是指在未來(lái)某個(gè)假想的時(shí)間點(diǎn)，因?yàn)榧夹g(shù)發(fā)展太過(guò)迅速，以致于達(dá)到我們無(wú)法理解的地步。奇點(diǎn)被看成是人類(lèi)無(wú)法達(dá)到的文明程度……一些我們不用指望能夠預(yù)測(cè)到的東西。

最近計(jì)算機(jī)科學(xué)教授 Edward W. Felten 在自己博客上發(fā)表了一篇文章，認(rèn)為奇點(diǎn)還遠(yuǎn)未到來(lái)，這一言論得到了 Yann LeCun 的強(qiáng)烈支持，我們將教授的原文做了翻譯。

為什么說(shuō)奇點(diǎn)不是奇點(diǎn)？

英國(guó)數(shù)據(jù)家 I.J. Good 在 1965 年的一篇論文中對(duì)奇點(diǎn)理論進(jìn)行了概括：

我們假設(shè)超智能機(jī)器是一種可以超越人類(lèi)智慧的機(jī)器。既然這樣的一種機(jī)器是通過(guò)人類(lèi)的智慧設(shè)計(jì)出來(lái)的，那么超智能機(jī)器也就能夠設(shè)計(jì)出更好的機(jī)器。這樣無(wú)疑會(huì)出現(xiàn)“智能大爆炸”，人類(lèi)的智慧會(huì)遠(yuǎn)遠(yuǎn)落在后面。因此，如果超智能機(jī)器能夠告訴我們?nèi)绾慰刂扑敲吹谝慌_(tái)超智能機(jī)器也就是需要由人類(lèi)發(fā)明的最后一臺(tái)機(jī)器。

Vernor Vinge 是第一個(gè)將這種理論描述為“奇點(diǎn)”的人，“奇點(diǎn)”的概念來(lái)自于數(shù)學(xué)，用于表示數(shù)量的增長(zhǎng)達(dá)到了無(wú)限的速度。后來(lái)，Ray Kurzweil 將“奇點(diǎn)”一詞用在他的“奇點(diǎn)臨近（The Singularity is Near）”一書(shū)中，才為人們所熟知。

指數(shù)增長(zhǎng)

奇點(diǎn)理論主要與未來(lái)機(jī)器智能的增長(zhǎng)速度有關(guān)。不過(guò)，在深入探討這個(gè)理論之前，先讓我們來(lái)澄清一些與增長(zhǎng)速度有關(guān)的概念。

指數(shù)增長(zhǎng)是最為關(guān)鍵的一個(gè)概念，也就是說(shuō)，事物的增長(zhǎng)與其現(xiàn)有的規(guī)模呈比例關(guān)系。例如，如果我的銀行存款每年增長(zhǎng) 1%，那么銀行每年要把當(dāng)前余額的 1% 累加到賬戶中。這就是所謂的指數(shù)增長(zhǎng)。

指數(shù)增長(zhǎng)的速度各異，我們可以使用兩種方式來(lái)表示指數(shù)增長(zhǎng)速度。第一種是增長(zhǎng)速率，通常表示為單位時(shí)間內(nèi)的百分比。例如，銀行存款的增長(zhǎng)速率為每年 1%。第二種是倍增時(shí)間，也就是數(shù)量翻番需要多少時(shí)間。例如，我的銀行存款要翻番需要大概 70 年時(shí)間。

要想知道一個(gè)數(shù)量是否呈指數(shù)級(jí)增長(zhǎng)，最好的辦法是使用上述的兩種方式來(lái)衡量它。如果它符合上述中的任何一種模式，那么它就是呈指數(shù)級(jí)增長(zhǎng)。例如，大部分國(guó)家都通過(guò) GDP 來(lái)衡量經(jīng)濟(jì)增長(zhǎng)，當(dāng)然，GDP 在短期內(nèi)可能會(huì)有起伏，但從長(zhǎng)期來(lái)看，它是呈指數(shù)級(jí)增長(zhǎng)的。如果一個(gè)國(guó)家的 GDP 每年增長(zhǎng) 3%，那么大概 23 年就可以翻一番。

指數(shù)增長(zhǎng)在人類(lèi)社會(huì)和自然界中都是很常見(jiàn)的。所以，一個(gè)呈指數(shù)級(jí)增長(zhǎng)的數(shù)量并不會(huì)讓自己變得有任何特別之處，也不會(huì)出現(xiàn)任何違反直覺(jué)的變化。

計(jì)算機(jī)的速度和容量也是呈指數(shù)級(jí)增長(zhǎng)的，這也沒(méi)有什么新奇的。新奇的是計(jì)算機(jī)容量的增長(zhǎng)速率?！澳柖伞备嬖V我們，計(jì)算機(jī)的速度和容量每 18 個(gè)月就會(huì)翻一番，相當(dāng)于每年 60% 的增長(zhǎng)速率。摩爾定律在過(guò)去 50 年被證明是正確的，計(jì)算機(jī)容量整整翻了 33 番，也就是差不多百億倍。

奇點(diǎn)并非實(shí)際意義上的奇點(diǎn)

在討論奇點(diǎn)假設(shè)的真實(shí)性之前，先讓我們來(lái)看看實(shí)際意義上的奇點(diǎn)——在未來(lái)某個(gè)時(shí)間點(diǎn)，機(jī)器智能的改進(jìn)速率趨向于無(wú)窮。這就要求機(jī)器智能的增長(zhǎng)速度超過(guò)指數(shù)級(jí)，翻番的時(shí)間就會(huì)縮短，最后趨向于零。

實(shí)際意義上的奇點(diǎn)可能并沒(méi)有任何理論依據(jù)。在人類(lèi)社會(huì)和自然世界根本不存在超指數(shù)增長(zhǎng)的東西，而即使有，也不可能達(dá)到真實(shí)意義上的奇點(diǎn)。簡(jiǎn)單地說(shuō)，人工智能的“奇點(diǎn)”不可能變成現(xiàn)實(shí)。

如果說(shuō)奇點(diǎn)不是真正意義上的奇點(diǎn)，那它會(huì)是什么？

為何自我改進(jìn)還不夠？

我們?cè)谏厦嬗懻摿藶楹尾豢赡艽嬖趩我坏钠纥c(diǎn)——換言之，為何 AI 不可能擁有無(wú)限的增長(zhǎng)率。那么如果奇點(diǎn)并不單一，那又會(huì)呈現(xiàn)出怎樣的形式？

首先來(lái)回顧奇點(diǎn)理論，其基本上屬于一項(xiàng)關(guān)于機(jī)器智能增長(zhǎng)率的主張。在排除了指數(shù)級(jí)以上增長(zhǎng)的可能性之后，其主要假設(shè)在于認(rèn)為 AI 技術(shù)將以指數(shù)形式增長(zhǎng)。

指數(shù)級(jí)增長(zhǎng)并不代表著發(fā)生“爆炸式”發(fā)展。舉例來(lái)說(shuō)，盡管我的儲(chǔ)蓄帳戶擁有 1% 的利率并實(shí)現(xiàn)持續(xù)增長(zhǎng)，但我本人并不會(huì)因此迎來(lái)“財(cái)富爆炸”，即突然之間獲得超出想象的資金數(shù)額。但是如果指數(shù)級(jí)增長(zhǎng)率非常高，是否會(huì)帶來(lái)爆炸式增長(zhǎng)？

在這方面，我認(rèn)為摩爾定律是最理想的類(lèi)比對(duì)象。在過(guò)去幾十年當(dāng)中，計(jì)算能力一直以 60% 的年增長(zhǎng)率保持著穩(wěn)定發(fā)展，換言之即第 18 個(gè)月翻一番。這意味著 這數(shù)十年周期內(nèi)的計(jì)算能力提升了約 100 億倍。這雖然是一項(xiàng)了不起的成就，但卻仍 無(wú)法從根本上改變?nèi)祟?lèi)的生存法則。事實(shí)上，這種增長(zhǎng)對(duì)社會(huì)與經(jīng)濟(jì)的影響屬于漸進(jìn)式推動(dòng)。

計(jì)算能力增長(zhǎng)一百億倍，仍無(wú)法令我們獲得百倍于以往的幸福感，其中的原因可謂顯而易見(jiàn)——計(jì)算能力并不是我們的核心。為了讓計(jì)算能力轉(zhuǎn)化為我們的幸福感，人類(lèi)必須想辦法利用計(jì)算資源改進(jìn)我們最關(guān)心的方方面面——這顯然非常困難。

更重要的是，將計(jì)算能力轉(zhuǎn)化為幸福感的努力似乎總是面臨著回報(bào)快速衰減的難題。舉例來(lái)說(shuō)，計(jì)算能力每增加一倍，我們都能夠通過(guò)發(fā)現(xiàn)新型藥物來(lái)更好地評(píng)估醫(yī)學(xué)診療效果或者更高效地改善人類(lèi)健康水平。然而其最終結(jié)果是，健康改善更像是關(guān)于我們身體的一種儲(chǔ)蓄帳戶，而非摩爾定律。

以下一項(xiàng) AI 實(shí)例。圖中所示為上世紀(jì)八十年代到現(xiàn)在計(jì)算機(jī)在國(guó)際象棋領(lǐng)域的表現(xiàn)提升趨勢(shì)。垂直軸所示為 Elo 等級(jí)，好衡量象棋技巧的自然度量，其定義為如果 A 的 Elo 點(diǎn)數(shù)比 B 高 100 點(diǎn)，則 A 在與 B 對(duì)局時(shí)的勝率則為 64%。

盡管計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，且算法性能同樣保持著指數(shù)級(jí)增長(zhǎng)趨勢(shì)，但其勝率結(jié)果在過(guò)去三十年當(dāng)中仍然保持著顯著的線性關(guān)系。這意味著雖然 AI 在國(guó)際象棋層面的改進(jìn)速度擁有指數(shù)級(jí)特性，但所產(chǎn)出的自然度量卻僅僅能夠?qū)崿F(xiàn)線性提升。

那么這一切對(duì)于奇點(diǎn)理論又意味著什么？請(qǐng)考慮智能爆炸這一論點(diǎn)的核心所在——正如谷歌公司在其經(jīng)典論文中所言：

……一臺(tái)超級(jí)智能機(jī)器如果能夠設(shè)計(jì)出更好的機(jī)器，那么其無(wú)疑將引發(fā)一場(chǎng)“智能爆炸”……

如果“設(shè)計(jì)出更好的機(jī)器”被具象為下國(guó)際象棋，那么輸入內(nèi)容（即機(jī)器智能）的指數(shù)級(jí)改進(jìn)為何只會(huì)帶來(lái)輸出結(jié)果（即機(jī)器在設(shè)計(jì)其它機(jī)器時(shí)的效能）的線性改進(jìn)？即使如此，那么智能爆炸的論斷顯然并不準(zhǔn)確。事實(shí)上，機(jī)器智能的增長(zhǎng)將僅僅保持線性水平。（我們可以從數(shù)學(xué)角度進(jìn)行理解：如果我們假定智能的導(dǎo)數(shù)與 log（智能）成正比，那么智能在時(shí)間 T 上的增長(zhǎng)將遵循 T log(T)，幾乎與 T 的線性保持一致。）

那么設(shè)計(jì)新機(jī)器是否能夠與下國(guó)際象棋這樣的行為進(jìn)行類(lèi)比？對(duì)此，我們并不確定。這是復(fù)雜性計(jì)算理論中的一個(gè)難題，其本質(zhì)在于討論隨著計(jì)算資源的增加，究竟能夠達(dá)到多少目標(biāo)。在通過(guò)比大多數(shù)人更為深入的復(fù)雜性理論研究之后，我們發(fā)現(xiàn)機(jī)器設(shè)計(jì)也同樣會(huì)呈現(xiàn)國(guó)際象棋當(dāng)中所出現(xiàn)的這種收益遞減狀況。無(wú)論如何，這種可能性確實(shí)令我們有理由對(duì)谷歌提出的自我改進(jìn)“無(wú)疑”將帶來(lái)智能爆炸這一結(jié)論感到懷疑。

因此，奇點(diǎn)理論家們有責(zé)任解釋為什么機(jī)器設(shè)計(jì)能夠表現(xiàn)出引起智能爆炸所需要的這種反饋回路——而非像國(guó)際象棋那樣遵循收益線性增長(zhǎng)。

奇點(diǎn)為何仍未真實(shí)發(fā)生？

我認(rèn)為，有時(shí) AI 系統(tǒng)（計(jì)算機(jī)速度和算法）的輸入改進(jìn)對(duì) AI 性能改善的作用不大。

有人對(duì)此持有各種反對(duì)意見(jiàn)。有人說(shuō)，計(jì)算機(jī)國(guó)際象棋 Elo 評(píng)級(jí)水平提升應(yīng)該是指數(shù)級(jí)的增長(zhǎng)；有人說(shuō)，新 AI 程序 AlphaZero 的到來(lái)（我未在我的帖子中討論過(guò)它）改變了游戲規(guī)則，有力地證明了我的論點(diǎn)無(wú)效。下面我來(lái)一一反駁這些反對(duì)意見(jiàn)。

首先，我們來(lái)談?wù)勎覀兪侨绾魏饬咳斯ぶ悄艿男阅艿摹?duì)于國(guó)際象棋，我使用了 Elo 評(píng)級(jí)，這個(gè)等級(jí)評(píng)定的規(guī)則是，如果玩家 A 比玩家 B 高 100 分，我們預(yù)計(jì) A 玩家在和 B 玩家對(duì)局時(shí)可以得到 64％的分?jǐn)?shù)（贏得游戲得一分，平局每個(gè)玩家得 0.5 分，輸?shù)囊环降昧泓c(diǎn)。）

有一個(gè)可以代替 Elo 的評(píng)級(jí)系統(tǒng)，我稱(chēng)其為 ExpElo，它的預(yù)測(cè)結(jié)果與 Elo 相差無(wú)幾。Explo 評(píng)級(jí)是 Elo 評(píng)分的乘方。Elo 使用兩位選手的評(píng)分來(lái)預(yù)測(cè)勝率，ExpElo 則使用評(píng)分的比例來(lái)進(jìn)行預(yù)測(cè)。從抽象的數(shù)學(xué)角度來(lái)看，Elo 和 ExpElo 的預(yù)測(cè)能力旗鼓相當(dāng)，而且預(yù)測(cè)結(jié)果完全相同。但是，如果說(shuō) Elo 的提升是呈線性的，則 ExpElo 的改進(jìn)則是呈指數(shù)級(jí)的。所以，國(guó)際象棋的成績(jī)是線性的還是指數(shù)性的？

在解決這個(gè)問(wèn)題之前，讓我們停下來(lái)思考一下，這種情況并不是國(guó)際象棋獨(dú)有的。任何線性增長(zhǎng)的度量都可以重新調(diào)整（通過(guò)對(duì)度量求冪），以得到一個(gè)指數(shù)級(jí)增長(zhǎng)的新度量。而且，任何指數(shù)級(jí)增長(zhǎng)的度量都可以重新調(diào)整（通過(guò)取對(duì)數(shù)）來(lái)獲得線性增長(zhǎng)的新度量。因此，對(duì)于任何改進(jìn)的數(shù)量，我們將始終能夠從線性增長(zhǎng)和指數(shù)增長(zhǎng)中做出選擇。

人工智能的關(guān)鍵問(wèn)題是：衡量某個(gè)特定任務(wù)的“智力”水平最合適的標(biāo)準(zhǔn)是什么？對(duì)于國(guó)際象棋來(lái)說(shuō)，我認(rèn)為是 Elo（而不是 ExpElo）。此前，Arpad Elo 推出了被專(zhuān)業(yè)象棋人員采用的 Elo 系統(tǒng)。美國(guó)國(guó)際象棋聯(lián)合會(huì)按照技能將玩家分大師、專(zhuān)家、A 級(jí)、B 級(jí)、C 級(jí)等級(jí)別，而我們選擇用 Elo 為人類(lèi)國(guó)際象棋玩家進(jìn)行分類(lèi)。那么，為什么當(dāng)談到 AI 時(shí)，我們應(yīng)該換一個(gè)不同的度量呢？

轉(zhuǎn)折就發(fā)生在這里：隨著電腦的發(fā)揮水平接近完美，而實(shí)際上人類(lèi)永遠(yuǎn)不可能達(dá)到完美的水平，因此，無(wú)論是 Elo 還是 ExpElo 在國(guó)際象棋中的評(píng)級(jí)的作用將趨于穩(wěn)定。

在每一場(chǎng)棋局中，都有一些可能得到最佳游戲結(jié)果的最佳棋路（或移動(dòng)）。對(duì)于一個(gè)非常強(qiáng)大的玩家，我們可能會(huì)問(wèn)他的錯(cuò)誤率是多少：即在高水平的比賽中，他會(huì)在什么情況下走錯(cuò)棋路？

假設(shè)一個(gè)玩家愛(ài)麗絲的錯(cuò)誤率為 1％，并假設(shè)一盤(pán)棋持續(xù)了五十回合。那么從長(zhǎng)遠(yuǎn)來(lái)看，愛(ài)麗絲每?jī)蓤?chǎng)比賽就會(huì)走一次非最優(yōu)的棋步，在一半的比賽中，她將以最佳狀態(tài)進(jìn)行比賽。這意味著，如果愛(ài)麗絲與上帝進(jìn)行一場(chǎng)國(guó)際象棋比賽（總是走最佳棋路），那么愛(ài)麗絲將得到至少 25％的分?jǐn)?shù)，因?yàn)樗龝?huì)在半場(chǎng)比賽以最佳棋路與上帝對(duì)弈，在最糟糕的情況下，她會(huì)在犯錯(cuò)誤的比賽中輸?shù)簟Ｈ绻麗?ài)麗絲能夠得到至少 25％的分?jǐn)?shù)，那么愛(ài)麗絲的 Elo 評(píng)級(jí)將不會(huì)比上帝低 200 分。結(jié)果是，類(lèi)似于 “上帝的評(píng)級(jí)”將無(wú)人可以超越，在 Elo 和 ExpElo 系統(tǒng)中都是如此。

Ken Regan 等人的研究表明，今天最好的國(guó)際象棋程序的錯(cuò)誤率相當(dāng)?shù)?，可以說(shuō)正在接近“上帝的評(píng)級(jí)”。Regan 的研究表明，RoG 的評(píng)分約為 3600，這很值得注意，因?yàn)閾?jù)我所知，最好的程序 Stockfish 的評(píng)分約為 3400，Google 的 DeepMind 研發(fā)的新 AI 棋手 AlphaZero 可能在 3500 左右。如果 Regan 的估計(jì)是正確的，那么 AlphaZero 就會(huì)在與上帝比賽中的大部分時(shí)間以最佳的棋路與其對(duì)弈，得到大約 36％的分?jǐn)?shù)。AI Elo 評(píng)級(jí)的歷史增長(zhǎng)率為每年 50 分，所以看起來(lái)增長(zhǎng)的趨勢(shì)可能會(huì)持續(xù)幾年，然后才會(huì)趨于平穩(wěn)。目前，不管?chē)?guó)際象棋評(píng)級(jí)分?jǐn)?shù)增長(zhǎng)趨勢(shì)到底是呈線性還是指數(shù)級(jí)，似乎在幾年內(nèi)都會(huì)趨于平緩。