發(fā)明家兼作家雷·科茲威爾（Ray Kurzweil）最近在谷歌與Gmail團(tuán)隊(duì)合作，就自動(dòng)回復(fù)電子郵件進(jìn)行研究。他最近在美國(guó)外交關(guān)系委員會(huì)（ Council on Foreign Relations）與《連線》雜志主編尼古拉斯·湯普森進(jìn)行了交談。以下是經(jīng)過(guò)編輯的對(duì)話記錄。

【尼古拉斯·湯普森】：我們的談話就從解釋加速回報(bào)定律開(kāi)始，這是支撐你寫(xiě)作和工作的基本思想之一。

【雷·科茲威爾】：在人類(lèi)基因組計(jì)劃進(jìn)行到一半的時(shí)候，1%的基因組在7年后才被收集起來(lái)。所以主流評(píng)論家說(shuō)，“我告訴過(guò)你，這行不通。你花了7年才達(dá)到1%，那一共需要700年的時(shí)間。我當(dāng)時(shí)的反應(yīng)是：“哇，我們完成了1%？那我們快完成了?！币?yàn)?%只是100%的7倍。它每年都在翻倍。的確，這種情況還在繼續(xù)。7年后，這個(gè)項(xiàng)目完成了。自從基因組計(jì)劃結(jié)束后，這種情況一直持續(xù)下去。第一個(gè)基因組的成本是十億美元，而現(xiàn)在我們已經(jīng)降到了1,000美元。

我要提一下加速回報(bào)定律的一個(gè)含義，因?yàn)樗泻芏噙B鎖反應(yīng)。它確實(shí)是我們所看到的這場(chǎng)令人矚目的數(shù)字革命背后的原因，信息技術(shù)的通貨緊縮率高達(dá)50%。因此，我可以像一年前那樣，獲得同樣的計(jì)算、通信、基因測(cè)序和大腦數(shù)據(jù)，而一年前的價(jià)格只有今天的一半。這就是為什么你今天可以用兩年前價(jià)格的一半買(mǎi)一部iPhone或一部安卓手機(jī)，而手機(jī)性能卻比以前優(yōu)秀兩倍。改進(jìn)后的性價(jià)比一部分表現(xiàn)在價(jià)格上，另一部分表現(xiàn)在手機(jī)性能上。因此，當(dāng)一個(gè)非洲女孩以75美元的價(jià)格購(gòu)買(mǎi)一部智能手機(jī)時(shí)，它就相當(dāng)于75美元的經(jīng)濟(jì)活動(dòng)，盡管這一數(shù)字在1960年前后約為一萬(wàn)億美元，在1980年大約為十億美元。它有數(shù)百萬(wàn)美元的免費(fèi)信息應(yīng)用，其中一個(gè)是百科全書(shū)，遠(yuǎn)比我十幾歲時(shí)攢錢(qián)買(mǎi)的要好得多。所有這些在經(jīng)濟(jì)活動(dòng)中都是零，因?yàn)樗鼈兌际敲赓M(fèi)的。所以我們真的不計(jì)算這些產(chǎn)品的價(jià)值。

所有這些都將改變：我們將用3-D打印機(jī)打印出衣服。目前我們處于某種3-D打印的炒作階段。但在本世紀(jì)20年代初，我們將能夠打印出服裝。屆時(shí)會(huì)有很多很酷的開(kāi)源設(shè)計(jì)，你可以免費(fèi)下載。我們?nèi)該碛袝r(shí)尚產(chǎn)業(yè)，就像我們?nèi)匀粨碛幸魳?lè)、電影和圖書(shū)行業(yè)一樣，與免費(fèi)、開(kāi)源的產(chǎn)品共存，這些產(chǎn)品都是一流的產(chǎn)品和專(zhuān)有產(chǎn)品。我們可以用垂直農(nóng)業(yè)生產(chǎn)出非常便宜的食物：用水培來(lái)種植水果和蔬菜，在體外克隆肌肉組織。第一個(gè)以這種方式生產(chǎn)的漢堡包已經(jīng)被購(gòu)買(mǎi)了。它很貴，售價(jià)幾十萬(wàn)美元，但是很不錯(cuò)。所有這些不同的資源都將成為信息技術(shù)。最近，用亞洲的3-D打印機(jī)出來(lái)的樂(lè)高風(fēng)格的小模塊，幾天后就拼建成了一棟三層樓的辦公大樓。這將是本世紀(jì)20年代建筑的本質(zhì)。3-D打印機(jī)將打印出我們需要的實(shí)物。

【尼古拉斯·湯普森】：讓我們來(lái)談?wù)勚悄?，就像我口袋里的手機(jī)一樣。它數(shù)學(xué)比我好，下棋比我厲害。它在很多事情上比我都做的好。什么時(shí)候它能比我更擅長(zhǎng)與人交談？什么時(shí)候會(huì)代替我來(lái)采訪你？

【雷·科茲威爾】：我們的確擁有可以進(jìn)行對(duì)話的技術(shù)。我的團(tuán)隊(duì)在谷歌創(chuàng)造了智能回復(fù)。所以我們正在寫(xiě)數(shù)百萬(wàn)封電子郵件。它必須理解所要回復(fù)的電子郵件的含義，盡管提出的建議很簡(jiǎn)短。但你的問(wèn)題是一個(gè)類(lèi)似于圖靈測(cè)試的問(wèn)題，它就相當(dāng)于圖靈測(cè)試。我相信，圖靈測(cè)試是對(duì)人類(lèi)智力全部范圍的有效測(cè)試。你需要完全的人類(lèi)智能才能通過(guò)一個(gè)有效的圖靈測(cè)試。沒(méi)有任何單純的自然語(yǔ)言處理技巧可以做到這一點(diǎn)。如果人類(lèi)法官無(wú)法分辨出其中的區(qū)別，那么我們認(rèn)為人工智能是人類(lèi)智慧的一部分，而這正是你所要問(wèn)的。這是我的一個(gè)關(guān)鍵預(yù)測(cè)。我一直在說(shuō)2029年。1989年，在《智能機(jī)器時(shí)代》（The Age of Intelligent Machines）一書(shū)中，我設(shè)定的界限是在20世紀(jì)20年代初到20世紀(jì)30年代末之間，在1999年的《精神機(jī)器時(shí)代》（The Age of Spiritual Machines）一書(shū)中，我說(shuō)的是2029年。斯坦福大學(xué)的人工智能部覺(jué)得這令人生畏，因此他們召開(kāi)了一次會(huì)議，當(dāng)時(shí)人工智能專(zhuān)家的共識(shí)是這需要數(shù)百年的時(shí)間。25%的人認(rèn)為這永遠(yuǎn)不會(huì)發(fā)生。我的觀點(diǎn)與人工智能專(zhuān)家的共同觀點(diǎn)或中間觀點(diǎn)越來(lái)越接近，但這并不是因?yàn)槲乙恢痹诟淖兾业挠^點(diǎn)。

2006年，達(dá)特茅斯召開(kāi)了一個(gè)名為“人工智能@50”的會(huì)議。當(dāng)時(shí)的共識(shí)是50年，那時(shí)我說(shuō)的是23年。我們剛剛在阿西洛瑪舉辦了一個(gè)人工智能倫理會(huì)議，當(dāng)時(shí)的共識(shí)是在20到30年之間，而那會(huì)我說(shuō)是13年。我還是比較樂(lè)觀，但并沒(méi)有那么樂(lè)觀，越來(lái)越多的人認(rèn)為我太保守了。

我沒(méi)有提到加速回報(bào)定律的一個(gè)關(guān)鍵問(wèn)題是：硬件不僅會(huì)呈指數(shù)級(jí)增長(zhǎng)，軟件也同樣如此。我感覺(jué)越來(lái)越自信，我認(rèn)為人工智能群體正越來(lái)越有信心，相信我們離這一里程碑不遠(yuǎn)了。

我們將與人工智能技術(shù)結(jié)合，讓我們變得更聰明。它已經(jīng)做到了。這些設(shè)備都是大腦擴(kuò)展器，人們也會(huì)這么想，這是一種新事物。就在幾年前，人們還沒(méi)有把他們的智能手機(jī)看做是大腦擴(kuò)展器。按照定義，它們會(huì)進(jìn)入我們的身體和大腦，但我認(rèn)為這是一個(gè)武斷的區(qū)分。雖然它們?cè)谖覀兊纳眢w和大腦之外，但它們已經(jīng)是大腦的延伸，它們會(huì)讓我們變得更聰明、更有趣。

【尼古拉斯·湯普森】：請(qǐng)解釋一下政策制定者的框架，他們應(yīng)該如何看待這種加速技術(shù)、他們應(yīng)該做以及他們不應(yīng)該做的事情。

【雷·科茲威爾】：人們對(duì)人工智能非常關(guān)注，如何保證技術(shù)的安全，這是一種兩極分化的討論，就像現(xiàn)在很多討論一樣。實(shí)際上，我在很長(zhǎng)一段時(shí)間里都在談?wù)摮兄Z和危險(xiǎn)。技術(shù)永遠(yuǎn)都是一把雙刃劍?；鹗刮覀兣?，為我們烹飪食物的同時(shí)，也能燒毀我們的房子。這些技術(shù)比火更加強(qiáng)大。我認(rèn)為我們應(yīng)該經(jīng)歷三個(gè)階段，至少我是這么認(rèn)為的。首先是為能有機(jī)會(huì)解決一直以來(lái)的難題而感到高興：比如貧窮、疾病等等。然后要警告這些技術(shù)可能具有破壞性，甚至?xí)?lái)生存風(fēng)險(xiǎn)。最后，我認(rèn)為我們需要指出的是，我們必須意識(shí)到，除了我們已經(jīng)取得的進(jìn)步，我們?cè)诘懒x上必須持續(xù)推動(dòng)這些技術(shù)的發(fā)展。這是一個(gè)完全不同的問(wèn)題，人們認(rèn)為情況正在變得更糟，但實(shí)際上情況正在變得更好，仍然有很多的人類(lèi)苦難需要去解決。只有人工智能領(lǐng)域取得的持續(xù)發(fā)展，才能使我們繼續(xù)克服貧困、疾病和環(huán)境退化，但同時(shí)我們也將面臨危險(xiǎn)。

這是一個(gè)很好的框架。四十年前，有遠(yuǎn)見(jiàn)卓識(shí)的人看到了生物技術(shù)的前景和風(fēng)險(xiǎn)，從根本上改變了生物學(xué)，讓生物學(xué)在正確的道路上獲得了長(zhǎng)足發(fā)展。因此，他們?cè)诎⑽髀瀣數(shù)臅?huì)議中心舉辦了一場(chǎng)“阿西洛瑪會(huì)議”，并提出了道德準(zhǔn)則和策略，即如何保證這些技術(shù)的安全。現(xiàn)在已經(jīng)是四十年后了。我們正受到生物技術(shù)的臨床影響。今天是涓涓細(xì)流，未來(lái)十年將是一場(chǎng)洪水猛獸。到目前為止，因?yàn)E用生物技術(shù)而受到傷害的人數(shù)為零。這是一個(gè)很好的學(xué)習(xí)模型。

我們剛剛舉行了第一屆關(guān)于人工智能倫理的阿西洛瑪會(huì)議。這些倫理準(zhǔn)則中有很多，特別是在生物技術(shù)領(lǐng)域，已經(jīng)寫(xiě)入了法律。所以我認(rèn)為這就是我們的目標(biāo)。最極端的是，“讓我們禁止這項(xiàng)技術(shù)”，或者“讓我們慢下腳步”。這的確不是正確的方法。我們要以一種建設(shè)性的方式來(lái)引導(dǎo)。有一些策略可以做到這一點(diǎn)，這是另一個(gè)復(fù)雜的討論。

【尼古拉斯·湯普森】你可以想象一下，國(guó)會(huì)可能會(huì)說(shuō)，在某種技術(shù)領(lǐng)域工作的每個(gè)人都必須公開(kāi)自己的數(shù)據(jù)，或者必須愿意分享他的數(shù)據(jù)集，至少要讓競(jìng)爭(zhēng)激烈的市場(chǎng)戰(zhàn)勝這些難以置信的強(qiáng)大工具。你可以想象，政府會(huì)說(shuō)，“實(shí)際上，我們將會(huì)有一個(gè)由政府資助的大項(xiàng)目，就像OpenAI一樣，但是由政府管理?！蹦憧梢韵胂螅幸粓?chǎng)巨大的國(guó)家基礎(chǔ)設(shè)施運(yùn)動(dòng)來(lái)發(fā)展這項(xiàng)技術(shù)，所以至少負(fù)責(zé)公眾利益的核心人士可以控制其中的一部分。你有什么推薦的嗎？

【雷·科茲威爾】：我認(rèn)為開(kāi)源數(shù)據(jù)和算法通常是一個(gè)好主意。谷歌將所有的人工智能算法與開(kāi)源的附源代碼（TensorFlow）都放在公共領(lǐng)域。我認(rèn)為這實(shí)際上是開(kāi)源和不斷加速的回報(bào)定律的結(jié)合，它將使我們更接近理想。有很多問(wèn)題，比如隱私，這些都是維護(hù)的關(guān)鍵，我認(rèn)為這個(gè)領(lǐng)域的人通常都很關(guān)心這些問(wèn)題。目前還不清楚正確答案是什么。我認(rèn)為我們想要繼續(xù)進(jìn)步，但是當(dāng)你有這么大的權(quán)力時(shí)，即使是出于善意，也會(huì)有濫用的情況。

【尼古拉斯·湯普森】：你擔(dān)心什么？你看待未來(lái)非常樂(lè)觀。但是你擔(dān)心什么呢？

【雷·科茲威爾】：我被指責(zé)為一個(gè)樂(lè)觀主義者，作為一個(gè)企業(yè)家，你必須是一個(gè)樂(lè)觀主義者，因?yàn)槿绻懔私饽阌龅降乃袉?wèn)題，你可能永遠(yuǎn)都不會(huì)開(kāi)始做任何項(xiàng)目。但正如我說(shuō)過(guò)的，我一直在關(guān)注和撰寫(xiě)切實(shí)存在的一些負(fù)面影響。這些技術(shù)非常強(qiáng)大，所以我確實(shí)很擔(dān)心，盡管我是一個(gè)樂(lè)觀主義者。我很樂(lè)觀，我們最終會(huì)度過(guò)難關(guān)。我也不會(huì)樂(lè)觀說(shuō)，我們不會(huì)遇到任何困難。第二次世界大戰(zhàn)期間，有5000萬(wàn)人死亡，而當(dāng)時(shí)的技術(shù)的力量更是加劇了死亡人數(shù)。我認(rèn)為讓人們意識(shí)到我們正在取得進(jìn)步是很重要的。最近在26個(gè)國(guó)家進(jìn)行了一項(xiàng)24,000人的民意調(diào)查。調(diào)查的問(wèn)題是，“世界的貧困狀況是否緩解？”90%的人說(shuō)，情況變得更糟了，但這是錯(cuò)誤的答案。只有1%的人給了正確答案，認(rèn)為世界貧困人口下降了至少50%。

【尼古拉斯·湯普森】：有關(guān)職業(yè)生涯，觀眾們應(yīng)該做些什么？他們即將進(jìn)入這樣一個(gè)世界，在這個(gè)世界里，職業(yè)選擇映射到一個(gè)擁有完全不同技術(shù)的世界。所以在你看來(lái)，給這個(gè)房間里的人什么建議？

【雷·科茲威爾】：這確實(shí)是一條古老的建議，那就是跟隨你的激情，因?yàn)檎娴臎](méi)有什么領(lǐng)域不會(huì)受到影響，或者這不是這個(gè)故事的一部分。我們將在云端合并模擬新大腦皮層。所以，我們還是會(huì)變得更聰明。我并不認(rèn)為人工智能會(huì)取代我們。它會(huì)增強(qiáng)我們的力量。它已經(jīng)做到了。沒(méi)有我們今天擁有的這些大腦擴(kuò)展器，誰(shuí)能完成它們的工作。這種情況將持續(xù)下去。人們會(huì)說(shuō)，“好吧，只有富人才會(huì)有這些工具，”我說(shuō)，“是的，就像智能手機(jī)一樣，現(xiàn)在有三十億人已經(jīng)擁有智能手機(jī)了?！蔽抑罢f(shuō)的是二十億人，但我剛看了新聞，大概是三十億人。幾年后就會(huì)變成六十億。這是因?yàn)轶@人的價(jià)格表現(xiàn)爆炸。所以要找到你有激情的地方。有些人有復(fù)雜的情感，他們不容易被歸類(lèi)，所以要找到一種方法，使用可用的工具，讓你覺(jué)得自己可以改變世界。我提出加速回報(bào)定律的原因是，要記錄我自己的技術(shù)項(xiàng)目所需時(shí)間，所以我可以在項(xiàng)目可行的幾年前便開(kāi)始，去嘗試和預(yù)測(cè)技術(shù)的發(fā)展方向。就在幾年前，我們擁有了一些看起來(lái)像智能手機(jī)的小設(shè)備，但它們不太好用。因此，像這種科技革命和移動(dòng)應(yīng)用在五年前幾乎不存在。五年后，世界將會(huì)變得截然不同，所以試著讓你的項(xiàng)目發(fā)展速度跟上與火車(chē)站臺(tái)的火車(chē)的速度。

觀眾提問(wèn)：這么多的強(qiáng)調(diào)都是關(guān)于人性、科學(xué)和探索的美好一面，我也很好奇朝我們的機(jī)器人合作伙伴邁進(jìn)的下一步。那黑暗的一面呢？那么戰(zhàn)爭(zhēng)、戰(zhàn)爭(zhēng)機(jī)器和暴力呢？

【雷·科茲威爾】：我們正在學(xué)習(xí)如何利用并操控這些平臺(tái)來(lái)擴(kuò)大人類(lèi)的各種傾向，而其中很多都是我們正在學(xué)習(xí)的最新信息。所以人工智能從例子中學(xué)習(xí)。在這個(gè)領(lǐng)域有一句格言，生命始于十億個(gè)例子，最好的例子就是向人們學(xué)習(xí)，所以人工智能經(jīng)常向人類(lèi)學(xué)習(xí)。情況并不總是這樣。阿爾法狗（AlphaGo Zero）剛剛自己學(xué)會(huì)如何自我對(duì)戰(zhàn)，但這并不總是可行的，尤其是當(dāng)你在嘗試處理更復(fù)雜的現(xiàn)實(shí)世界問(wèn)題時(shí)。這一領(lǐng)域做出了巨大努力，所有大公司和開(kāi)源研究領(lǐng)域也在努力研究中，其目的就是為了消除人工智能的偏見(jiàn)，以及克服性別偏見(jiàn)和種族偏見(jiàn)，因?yàn)槿绻斯ぶ悄芟蛴衅?jiàn)的人類(lèi)學(xué)習(xí)，它就會(huì)從人們那里獲得偏見(jiàn)。作為人類(lèi)，我們會(huì)從我們所見(jiàn)過(guò)的所有事物中獲取偏見(jiàn)，其中很多都是潛意識(shí)的。作為受過(guò)教育的人，我們會(huì)認(rèn)識(shí)到偏見(jiàn)并試圖克服它，我們的頭腦中會(huì)產(chǎn)生沖突。有一整個(gè)領(lǐng)域的研究都是為了消除人工智能的偏見(jiàn)，并克服它們從人類(lèi)身上獲取的偏見(jiàn)。所以這是一種能夠克服機(jī)器智能的問(wèn)題的研究。從這些方面來(lái)看，機(jī)器智能實(shí)際上比它學(xué)習(xí)的人類(lèi)偏見(jiàn)更少?？偟膩?lái)說(shuō)，盡管社交媒體上各種各樣的承諾和風(fēng)險(xiǎn)交織在一起，但總體來(lái)說(shuō)，這是一件非常有益的事情。我穿過(guò)機(jī)場(chǎng)，每個(gè)兩歲以上的孩子都拿著自己的設(shè)備。社交媒體已經(jīng)成為了一個(gè)世界性的社區(qū)，我認(rèn)為現(xiàn)在的一代比其他任何一代人都更能感覺(jué)到他們是世界公民，因?yàn)樗麄兣c世界上所有的文化都有聯(lián)系。

【尼古拉斯·湯普森】：去年，美國(guó)與世界其他地區(qū)的關(guān)系并沒(méi)有變得更緊密，很多人會(huì)說(shuō)，我們的民主沒(méi)有變得更好。這是持續(xù)進(jìn)步與人類(lèi)攜手共進(jìn)道路上的曲折，還是很多人誤解了它？

【雷·科茲威爾】：美國(guó)和世界其他地方在政治上的兩極分化是不幸的。我不認(rèn)為這是我們今天談?wù)摰脑掝}。我的意思是，我們?cè)谑澜缟辖?jīng)歷過(guò)重大的波折。第二次世界大戰(zhàn)是一個(gè)相當(dāng)大的波折，實(shí)際上并沒(méi)有影響到這些趨勢(shì)。在某些政府官員或政府中，可能有些事情是我們不喜歡的。但這里有一點(diǎn)需要討論。我們并不是在無(wú)法表達(dá)自己的觀點(diǎn)的極權(quán)主義的時(shí)代。如果我們朝那個(gè)方向發(fā)展，我會(huì)更擔(dān)心，但我不認(rèn)為會(huì)發(fā)生這種情況。所以，不要貶低政府和當(dāng)權(quán)者的重要性，但這是在一個(gè)不同的層面上。我們談?wù)摰倪@些問(wèn)題并沒(méi)有受到這些事情的影響。我擔(dān)心的是存在的風(fēng)險(xiǎn)，因?yàn)榧夹g(shù)是一把雙刃劍。

觀眾提問(wèn)：我的問(wèn)題與不平等有關(guān)。在人類(lèi)歷史的大部分時(shí)期，經(jīng)濟(jì)不平等程度相當(dāng)高，這其中有很多階段。我想知道，你是否認(rèn)為20世紀(jì)是一種反常現(xiàn)象，以及科技的擴(kuò)散將如何影響這種不平等。

【雷·科茲威爾】：經(jīng)濟(jì)平等問(wèn)題正在朝好的方向發(fā)展。根據(jù)世界銀行的數(shù)據(jù)，在過(guò)去的20年里，亞洲的貧困人口減少了90%以上，從原始的農(nóng)業(yè)經(jīng)濟(jì)發(fā)展到繁榮的信息經(jīng)濟(jì)。非洲和南美的經(jīng)濟(jì)增長(zhǎng)率遠(yuǎn)高于發(fā)達(dá)國(guó)家。你看到的任何地方，都存在著不平等現(xiàn)象，但事情正在朝著正確的方向快速發(fā)展。在過(guò)去的20年里，全世界的貧困人口減少了50%。還有很多其他的衡量標(biāo)準(zhǔn)。所以我們正朝著正確的方向前進(jìn)。在任何一個(gè)時(shí)間點(diǎn)上，都存在嚴(yán)重的不平等，都有人正經(jīng)歷苦難，但這些現(xiàn)象正朝著好的方向發(fā)展。

觀眾提問(wèn)：我從你的評(píng)論中得知你正在預(yù)測(cè)人工智能離下一階段還有12年，你已經(jīng)提到過(guò)幾次，盡管你很樂(lè)觀，但你擔(dān)心的是存在風(fēng)險(xiǎn)，所以我想知道你是否可以詳細(xì)說(shuō)明一下你的意思，你認(rèn)為技術(shù)專(zhuān)家應(yīng)該做什么來(lái)降低這些風(fēng)險(xiǎn)？

【雷·科茲威爾】：我的意思是，存在的風(fēng)險(xiǎn)是威脅我們文明生存的風(fēng)險(xiǎn)。因此，人類(lèi)面臨的第一個(gè)生存風(fēng)險(xiǎn)是核擴(kuò)散。我們已經(jīng)有能力摧毀所有人類(lèi)的生命。有了這些新技術(shù)，我們不難想到，它們可能具有極大的破壞性，并摧毀全人類(lèi)。例如，生物技術(shù)。我們有能力從疾病中重新規(guī)劃生物學(xué)，比如免疫療法，這是治療癌癥的一個(gè)非常令人興奮的突破，我認(rèn)為這非常具有革命性，不過(guò)它只是剛剛開(kāi)始。它正在重新編程免疫系統(tǒng)去治療癌癥，而通常情況下不可能做到。但是，生物恐怖分子可以對(duì)一種病毒進(jìn)行重新編程，使其更加致命，更具傳染性，更加隱秘，從而制造出一種超級(jí)武器。這就是40年前第一次阿西洛瑪會(huì)議所引發(fā)的難題。這些反復(fù)出現(xiàn)的會(huì)議讓這些倫理準(zhǔn)則、安全協(xié)議和策略變得更加復(fù)雜，到目前為止，它已經(jīng)起作用了。但我們一直在讓這項(xiàng)技術(shù)變得更加復(fù)雜，所以我們必須一次又一次地重新制定這些準(zhǔn)則。我們剛剛舉行了第一次關(guān)于人工智能倫理的會(huì)議。我們提出了一套道德規(guī)范，并且都已署名通過(guò)。其中很多都是模糊的。我認(rèn)為這是一個(gè)非常重要的問(wèn)題。我們發(fā)現(xiàn)我們必須在軟件中建立倫理價(jià)值觀。一個(gè)典型的例子就是無(wú)人駕駛汽車(chē)。自動(dòng)駕駛汽車(chē)的全部動(dòng)機(jī)是，在200萬(wàn)名人類(lèi)司機(jī)中，避免99%的司機(jī)的死亡，但它將陷入一種境地，必須做出道德決策：它應(yīng)該朝著嬰兒車(chē)或向老年夫婦行駛，還是向墻壁行駛，而這可能導(dǎo)致乘客死亡。無(wú)人駕駛車(chē)是否有道德準(zhǔn)則，不導(dǎo)致車(chē)內(nèi)乘客的死亡？在這種情況下，無(wú)人駕駛車(chē)不能給軟件設(shè)計(jì)師發(fā)送電子郵件，然后說(shuō)，“天哪，我該怎么辦？”道德準(zhǔn)則必須內(nèi)置在軟件中。所以這些都是實(shí)際問(wèn)題，在這個(gè)問(wèn)題上，人工智能有一個(gè)完整的領(lǐng)域。

但我們?cè)撊绾螒?yīng)對(duì)更為實(shí)際存在的風(fēng)險(xiǎn)：短期內(nèi)就能實(shí)現(xiàn)的人工智能武器化。世界各地的國(guó)防部都在使用人工智能。當(dāng)時(shí)有一份文件要求人們同意禁止使用自動(dòng)武器，這聽(tīng)起來(lái)是個(gè)好主意，而使用的例子是“我們禁止化學(xué)武器，所以為什么不使用自主的人工智能武器呢？”這有點(diǎn)復(fù)雜，因?yàn)槲覀兛梢圆挥锰烤?，也不用天花。禁止化學(xué)武器是可以的。但自動(dòng)武器是一種兩用技術(shù)。能將你的冷凍華夫餅或藥品送到非洲一家醫(yī)院的亞馬遜無(wú)人機(jī)，可能用于運(yùn)輸一種武器。這是同樣的技術(shù)，一切已蓄勢(shì)待發(fā)。也就是說(shuō)，這是一個(gè)更復(fù)雜的問(wèn)題，如何處理。但我們的目標(biāo)是收獲承諾并控制風(fēng)險(xiǎn)。沒(méi)有簡(jiǎn)單的算法，我們可以把這個(gè)子程序放入我們的人工智能中，“好吧，把這個(gè)子程序放進(jìn)去。”它會(huì)讓你的人工智能保持良性。”智力天生就是無(wú)法控制的。我的策略并不愚蠢，它是在我們自己的人類(lèi)社會(huì)中實(shí)踐我們希望在世界上看到的道德、道德和價(jià)值觀。因?yàn)槲磥?lái)的社會(huì)并不是某些來(lái)自火星的智能機(jī)器的入侵。它誕生于我們今天的文明。這將會(huì)增強(qiáng)我們的自我。因此，如果我們正在實(shí)踐我們今天所珍視的價(jià)值觀，那就是在未來(lái)?yè)碛幸粋€(gè)包含這些價(jià)值觀的世界的最佳策略。