一、總體看法

1. 從人工智能發(fā)展角度看，這是認(rèn)知智能發(fā)展的一個(gè)重要里程碑，其意義要高于7年前的AlphaGo。

AlphaGo是在人類(lèi)智慧高強(qiáng)度體現(xiàn)的領(lǐng)域（圍棋），機(jī)器戰(zhàn)勝了人類(lèi)，基于數(shù)據(jù)和算法，它刷新了普通大眾對(duì)人工智能技術(shù)的看法，但是其本身并不能廣泛應(yīng)用，普通大眾也難以與其直接接觸。

ChatGPT則完全不同，它是在人類(lèi)三歲小孩就逐步形成的語(yǔ)言智能方面有了重大突破。

過(guò)去，在人工智能領(lǐng)域，在人比較難做的事情上，比如數(shù)學(xué)定理證明、下象棋，機(jī)器表現(xiàn)很好；但是在人容易做到的事情上，比如說(shuō)話，常識(shí)推理，機(jī)器表現(xiàn)反而很差，這些人類(lèi)基本的智能對(duì)機(jī)器來(lái)說(shuō)很難，是人工智能最難啃的硬骨頭。

這次的ChatGPT是在這方面有了一定的突破，因?yàn)槭钦f(shuō)話，不是下圍棋，所以普通大眾都可以成為ChatGPT的用戶(hù)，也就是說(shuō)ChatGPT天生具有廣泛的用戶(hù)基礎(chǔ)，再加上其令人驚艷的表現(xiàn)，這些使得其發(fā)布后用戶(hù)量迅速增長(zhǎng)，火出圈！

2. ChatGPT不僅僅是聊天，如果把它限制為聊天，那就顯著降低了它的價(jià)值和意義。

OpenAI根據(jù)自己同類(lèi)產(chǎn)品API的調(diào)用分析，除了純聊天之外，用戶(hù)還把它用于文本生成、開(kāi)放域問(wèn)答、頭腦風(fēng)暴、改寫(xiě)、摘要、分類(lèi)等。

ChatGPT是對(duì)話式AI邁向真正實(shí)現(xiàn)的第一步，從互聯(lián)網(wǎng)層面看，它可以作為信息入口，與搜索引擎相結(jié)合；從文案辦公方面看，它可以與辦公軟件相結(jié)合，增強(qiáng)人的辦公效率；從人機(jī)交互角度看，它體現(xiàn)的是一種基于語(yǔ)言的自然交互方式，可以與元宇宙、數(shù)字人結(jié)合。

除此之外，它還可以應(yīng)用于機(jī)器人，充當(dāng)機(jī)器人大腦。如果從人類(lèi)信息發(fā)展的歷史尺度上看，它是在人與機(jī)器之間的信息接口上有了很大突破。

3. ChatGPT是近幾年技術(shù)快速發(fā)展和不斷更新迭代、多種技術(shù)疊加在一起形成質(zhì)變的產(chǎn)物，是自然語(yǔ)言處理領(lǐng)域近年來(lái)研究的結(jié)晶。

其底層的技術(shù)，包括Transformer、自監(jiān)督學(xué)習(xí)、微調(diào)、人類(lèi)反饋強(qiáng)化學(xué)習(xí)、AI對(duì)齊等，在自然語(yǔ)言處理和人工智能領(lǐng)域都有廣泛的研究和應(yīng)用。

但是ChatGPT將這些技術(shù)巧妙地結(jié)合在一起，有效規(guī)避了大模型的未對(duì)齊行為，利用了大模型規(guī)模帶來(lái)的智能突現(xiàn)能力，增強(qiáng)了大模型的指令學(xué)習(xí)能力和用戶(hù)意圖捕獲能力，解鎖了大模型的泛化能力，這些能力疊加在一起形成了ChatGPT的質(zhì)變效果。

4. ChatGPT探索了一種使機(jī)器獲得語(yǔ)言智能的有效技術(shù)路線，但這個(gè)方向仍然需要在科學(xué)和技術(shù)上進(jìn)一步探索。

技術(shù)上，其他的技術(shù)路線是否可以達(dá)到同樣效果？

近幾年，大模型研究技術(shù)架構(gòu)上出現(xiàn)了同質(zhì)化趨勢(shì)，Transformer獨(dú)步天下，GPT路線占據(jù)絕對(duì)統(tǒng)治地位，這對(duì)未來(lái)技術(shù)創(chuàng)新并不是好事；

科學(xué)上，ChatGPT一類(lèi)技術(shù)體現(xiàn)了技術(shù)先行科學(xué)滯后的典型特點(diǎn)，為什么大模型有突現(xiàn)能力？對(duì)齊之后的泛化能力是如何形成的？語(yǔ)境學(xué)習(xí)的機(jī)制是什么？

這些問(wèn)題目前都沒(méi)有明確的答案，科學(xué)回答這些問(wèn)題，顯然可以進(jìn)一步推動(dòng)技術(shù)發(fā)展。

5. ChatGPT技術(shù)雖然取得了重要進(jìn)展，但仍然面臨諸多挑戰(zhàn)。

第一，雖然采用了人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）AI對(duì)齊技術(shù)，但是生成的內(nèi)容仍然存在未對(duì)齊行為，如不符合常識(shí)，存在偏見(jiàn)、歧視等內(nèi)容，信息真實(shí)性有時(shí)存疑（即“一本正經(jīng)地胡說(shuō)八道”），未來(lái)在AI對(duì)齊技術(shù)上需要進(jìn)一步研究和突破；

第二，以ChatGPT為代表的大模型技術(shù)通常被具有豐富算力和數(shù)據(jù)資源的企業(yè)壟斷，且不開(kāi)源，不利于大模型技術(shù)研究和突破；

第三，目前大模型的算力消耗非常龐大，要實(shí)現(xiàn)大規(guī)模真實(shí)場(chǎng)景應(yīng)用，模型輕量化技術(shù)需要進(jìn)一步探索；

第四，要提升模型的可解釋性，要研制相關(guān)技術(shù)使得ChatGPT為代表的大模型技術(shù)可以自我追溯信息源頭，增強(qiáng)可信性；

第五，ChatGPT背后還存在很多科學(xué)問(wèn)題未有明確答案，如大模型突現(xiàn)能力是如何形成的？語(yǔ)境學(xué)習(xí)機(jī)制是什么？AI對(duì)齊為什么使大模型具有指令泛化能力？這些科學(xué)問(wèn)題的探索將會(huì)推動(dòng)未來(lái)技術(shù)更好地發(fā)展。

二、ChatGPT技術(shù)發(fā)展

6. GPT-3之前的大模型技術(shù)路線和架構(gòu)是多種多樣的，以BERT為代表的Encoder大模型、以GPT為代表的Decoder大模型、以T5為代表的Encoder-Decoder大模型等，但是從GPT-3之后，大模型技術(shù)路線趨于單一化。

包括Google的PaLM、LaMDA，Meta AI的Galactica、OPT，Nvidia/Microsoft的Megatron-Turing，AI21 Labs的Jurassic-1，DeepMind的Gopher、Chinchilla，Hugging Face的BLOOM，國(guó)內(nèi)華為的Pangu-a，浪潮的Yuan-1.0等千億級(jí)參數(shù)規(guī)模的大模型，基本上都是采用GPT-3的Decoder架構(gòu)，可能是因?yàn)橛?xùn)練成本太高，采用其他未驗(yàn)證的架構(gòu)，試錯(cuò)成本高，跟隨GPT-3成功路線進(jìn)行微創(chuàng)新是最好的選擇。

7. GPT-3 2020年3月發(fā)布后，國(guó)內(nèi)外研究機(jī)構(gòu)相繼快速跟進(jìn)，上述提到的大模型基本上都是在2021-2022期間研發(fā)出來(lái)，也就是說(shuō)從技術(shù)路線上總體滯后GPT-3 1-2年時(shí)間。

8. GPT-3文本生成結(jié)果比之前的模型有大幅度提升，但同時(shí)也存在很多問(wèn)題，如各種偏見(jiàn)、歧視、潛在的濫用等。

鑒于這些問(wèn)題，大模型研究開(kāi)始逐步重視AI對(duì)齊研究，即使得大模型輸出結(jié)果與人的意圖、價(jià)值觀等對(duì)齊。

一些瞄準(zhǔn)通用人工智能的企業(yè)，如OpenAI、DeepMind紛紛成立專(zhuān)門(mén)的AI Alignment研究團(tuán)隊(duì)，招兵買(mǎi)馬，將AI Alignment視為通向AGI之路必須要解決的問(wèn)題。

來(lái)自這兩個(gè)團(tuán)隊(duì)研究人員，甚至成立了一家非盈利研究機(jī)構(gòu)：ARC（對(duì)齊研究中心）。

9. 基于大模型的對(duì)話agents紛紛在2021-2022期間開(kāi)始研制，包括Google的 LaMDA、DeepMind的Sparrow、Anthropic的Claude等，這些dialogue agents無(wú)一例外都進(jìn)行了AI對(duì)齊。

10. RLHF并不是唯一的AI對(duì)齊技術(shù)，面向language agents的對(duì)齊有很多方法、很多策略，需要更多探索。

11.模型編輯、稀疏模型、半?yún)?shù)檢索模型，這些技術(shù)，在大模型發(fā)展中同樣值得深入研究。大模型編碼的知識(shí)不應(yīng)該是一成不變的，將知識(shí)全部編碼到模型鏈接和神經(jīng)元中，可能也并不是最優(yōu)選擇。

12. 除了AI對(duì)齊和大模型賦能ChatGPT之外，OpenAI在長(zhǎng)文檔摘要、自然語(yǔ)言描述轉(zhuǎn)為代碼等方面也做了很多工作，這些工作同樣增強(qiáng)了ChatGPT相應(yīng)能力。

三、國(guó)內(nèi)同類(lèi)技術(shù)

13. 2020年OpenAI發(fā)布1750億參數(shù)的GPT-3之后，國(guó)內(nèi)企業(yè)和科研機(jī)構(gòu)，同Google、微軟、DeepMind、Meta AI等一樣，于2021-2022年間，研制了類(lèi)似于GPT-3架構(gòu)的千億級(jí)大模型。

因此，在底層技術(shù)上我們不存在任何問(wèn)題。

14. 但是要實(shí)現(xiàn)中國(guó)版的ChatGPT，需要在多個(gè)方面加強(qiáng)研究，壓實(shí)工作。

首先，在數(shù)據(jù)上，我們要使用與GPT-3相當(dāng)?shù)臄?shù)據(jù)量和計(jì)算量訓(xùn)練模型，目前中文缺乏像英文那樣的多個(gè)開(kāi)源大規(guī)模數(shù)據(jù)集，各家企業(yè)使用的中文數(shù)據(jù)也很少開(kāi)源，很多時(shí)候數(shù)據(jù)也未像OpenAI那樣進(jìn)行精細(xì)處理以提升質(zhì)量；

其次，國(guó)內(nèi)在AI對(duì)齊研究上需要加強(qiáng)，尤其是在已經(jīng)預(yù)訓(xùn)練的大模型上，要進(jìn)行對(duì)齊，要繼續(xù)優(yōu)化和精調(diào)大模型；

再次，要充分調(diào)動(dòng)以大模型為代表的新型AI技術(shù)的研發(fā)活力，鼓勵(lì)已經(jīng)研制的大模型向大眾公開(kāi)，接受廣大用戶(hù)檢測(cè)，同時(shí)也要積極培育專(zhuān)攻某一類(lèi)核心技術(shù)（如大模型AI對(duì)齊技術(shù)）的初創(chuàng)企業(yè)，不求短期市場(chǎng)回報(bào)。

四、ChatGPT背后大模型技術(shù)的爭(zhēng)議

15. 大模型的優(yōu)缺點(diǎn)在業(yè)內(nèi)討論非常多，也非常激烈，大模型存在倫理問(wèn)題、環(huán)保問(wèn)題、資源壟斷不開(kāi)源問(wèn)題等等，這些問(wèn)題學(xué)術(shù)界和產(chǎn)業(yè)界都在進(jìn)行研究，尋找技術(shù)、策略、機(jī)制等方面的解決方案。

16. 個(gè)人認(rèn)為，業(yè)內(nèi)對(duì)大模型爭(zhēng)議最激烈的地方在于大模型是否是通向AGI之路、是否具備類(lèi)人理解力、是否具有情緒/意識(shí)，這些問(wèn)題已經(jīng)不單純是在自然語(yǔ)言處理領(lǐng)域、人工智能領(lǐng)域討論了，一些爭(zhēng)論已經(jīng)在哲學(xué)層面進(jìn)行了，包括借助思想實(shí)驗(yàn)等。

除此之外，這些問(wèn)題涉及的AGI、意識(shí)等，對(duì)它們的定義，本身也沒(méi)有共識(shí)，存在爭(zhēng)議。

17.就大模型是否能像人一樣“理解”用戶(hù)輸入的句子以及自身生成的文本這個(gè)問(wèn)題而言，從技術(shù)層面看，大模型本質(zhì)上是根據(jù)單詞共現(xiàn)概率基于已生成的單詞序列預(yù)測(cè)下一個(gè)單詞，共現(xiàn)概率或依存關(guān)系是大模型從海量文本數(shù)據(jù)中建模學(xué)習(xí)而來(lái)。

由于大模型的數(shù)據(jù)都是符號(hào)，模型是無(wú)法像人一樣將意義、概念奠基到符號(hào)之外的物理世界，符號(hào)系統(tǒng)在語(yǔ)意上是不充分的。

符號(hào)系統(tǒng)本身并不能真正理解符號(hào)的意義，所有的意義都是被外部觀察者或設(shè)計(jì)者所賦予的，即使將視覺(jué)模態(tài)加入到大模型中，大模型學(xué)到的也只是符號(hào)和視覺(jué)元素之間的統(tǒng)計(jì)關(guān)聯(lián)關(guān)系，仍然不能奠基到真實(shí)的物理世界。

也就是說(shuō)，大模型無(wú)法做到類(lèi)人理解。這里涉及到人工智能圖靈測(cè)試、中文屋思想實(shí)驗(yàn)、符號(hào)奠基問(wèn)題等，感興趣者可以參考《神經(jīng)機(jī)器翻譯：基礎(chǔ)、原理、實(shí)踐與進(jìn)階》第19章短評(píng)“預(yù)訓(xùn)練技術(shù)爭(zhēng)議與符號(hào)奠基問(wèn)題”。

18. 自然語(yǔ)言處理和人工智能領(lǐng)域的研究者在學(xué)術(shù)論文中或者介紹AI模型時(shí)，經(jīng)常使用擬人化的描述，如“理解”、“學(xué)習(xí)”等，主要是為了讓讀者或聽(tīng)眾更容易理解模型或算法的原理，并不不代表機(jī)器、模型真的像人一樣思考、學(xué)習(xí)、理解。

五、未來(lái)趨勢(shì)

19. ChatGPT類(lèi)技術(shù)其背后體現(xiàn)的，首先是預(yù)示著一種深層次的信息革命。

人類(lèi)發(fā)明計(jì)算機(jī)和互聯(lián)網(wǎng)之后，獲取、存儲(chǔ)和使用信息的方式出現(xiàn)了翻天覆地的變化，但最近幾十年基本上沒(méi)有大的變動(dòng)，主要以搜索引擎為主，呈現(xiàn)的信息通常需要用戶(hù)進(jìn)行二次處理或再加工才能滿(mǎn)足要求。

ChatGPT呈現(xiàn)的信息則通?？梢灾苯訚M(mǎn)足用戶(hù)的需求，或通過(guò)交互方式逐步達(dá)到用戶(hù)的要求，雖然目前還存在信息可靠性問(wèn)題，但相信未來(lái)這些問(wèn)題會(huì)不斷得到改善。

其次是人和機(jī)器關(guān)系會(huì)出現(xiàn)重大轉(zhuǎn)變。

以ChatGPT為代表的一類(lèi)技術(shù)在精準(zhǔn)捕獲用戶(hù)的真實(shí)意圖方面邁出了一大步，一旦機(jī)器可以“理解”人類(lèi)意圖并完成相應(yīng)任務(wù)，人和機(jī)器的交互就不再需要翻譯成機(jī)器語(yǔ)言，而是直接使用人類(lèi)語(yǔ)言作為交互載體。

再次是機(jī)器生成內(nèi)容的能力大大增強(qiáng)。

一些文字內(nèi)容類(lèi)工作，機(jī)器可以輔助人類(lèi)，人的工作效率會(huì)得到極大提升，一些“枯燥乏味”的文字工作則可交給機(jī)器完成，人專(zhuān)注于更高層次的內(nèi)容、思想編輯工作，或通過(guò)人機(jī)交互方式協(xié)同生成更好的內(nèi)容。

20. 基于以上趨勢(shì)，未來(lái)人類(lèi)獲取信息的方式、與機(jī)器交互的方式都會(huì)出現(xiàn)變化。

與人類(lèi)意圖、價(jià)值觀、倫理準(zhǔn)則高度對(duì)齊的信息智能體會(huì)幫助我們高效獲取信息、生成信息和發(fā)布信息。

以ChatGPT為代表的大模型及其后續(xù)更新技術(shù)會(huì)逐步充當(dāng)各種機(jī)器、設(shè)備、機(jī)器人的“大腦”，人機(jī)之間的交互會(huì)更加以人為中心，而不是以機(jī)器為中心。

相應(yīng)的技術(shù)會(huì)對(duì)多個(gè)行業(yè)、領(lǐng)域產(chǎn)生影響，如教育（規(guī)范使用ChatGPT等類(lèi)型技術(shù)，避免學(xué)生使用它們做作業(yè)，發(fā)揮新技術(shù)對(duì)教育的積極輔助作用，而不是成為作弊利器）、醫(yī)療（將大模型技術(shù)應(yīng)用于醫(yī)療問(wèn)答、藥物研發(fā)、DNA/蛋白質(zhì)建模等）等，傳統(tǒng)的計(jì)算機(jī)軟件，如搜索引擎、辦公軟件等，也會(huì)受到影響和沖擊。

編輯：黃飛