GPT-3 寫的論文及格了嗎？教育資源網(wǎng)站 EduRef 對此進(jìn)行了一項(xiàng)測試，效果還行，及格水平。

2020 年 5 月，OpenAI 推出了具有 1750 億參數(shù)的史上最大 AI 模型 GPT-3，該模型不僅可以更好地答題、翻譯、寫文章，還帶有一些數(shù)學(xué)計算的能力。自推出以來，該模型就開始在不同的領(lǐng)域大顯身手，如基于問題的搜索引擎、與歷史人物對話、基于文本描述生成代碼以及繪圖和圖像補(bǔ)全等等。

但 GPT-3 的應(yīng)用之路遠(yuǎn)未結(jié)束…

近日，教育資源網(wǎng)站 EduRef 進(jìn)行了一項(xiàng)測試，他們找了一組教授創(chuàng)建了一個寫作提示，然后讓應(yīng)屆畢業(yè)生和本科生以及 GPT-3 同時根據(jù)該提示寫作，最后教授組對匿名提交的作文打分，并對作者進(jìn)行追蹤調(diào)查。那么，究竟結(jié)果如何呢？GPT-3 的分?jǐn)?shù)能夠超過人類作者嗎？未必！

GPT-3 通過了大部分課程的寫作測試

常言道：「評級為 C 就可以畢業(yè)（C’s get degrees）」。AI 遠(yuǎn)遠(yuǎn)達(dá)不到完美，GPT-3 的寫作水平大概相當(dāng)于自由寫作者（freelance writer）。

結(jié)果顯示，在 COVID-19 疫苗效力的研究方法論文寫作上，人類作者可以得到 B 或者 D，而 GPT-3 往往只能得到 C。在美國歷史類的測試中，人類作者可以在美國例外主義論文中得到 B 或者 C+，而 GPT-3 只能得到 B-。最后，在法學(xué)課上的政策函寫作中，GPT-3 得到了 B-，而 3 個學(xué)生中只有 1 個能夠得到高分。

下圖為人類作者與 GPT-3 在不同學(xué)科寫作中的得分情況：

由此可見，GPT-3 的寫作技能主要體現(xiàn)在技術(shù)類文檔中。在創(chuàng)意寫作課程中的地點(diǎn)記敘文（place narrative）寫作中，GPT-3 僅得到了 F，沒有通過測試。作為對比，自由寫作者得到了 A、B + 和 D+。盡管在創(chuàng)意寫作教授的眼中，GPT-3 失敗了，但自然語言生成（NLG）軟件依然可以用于編寫各類內(nèi)容，包括一部幾乎獲獎的小說《The Day a Computer Writes a Novel》。先前的成功也預(yù)示著以后的失敗，GPT-3 或許只需要一些調(diào)整即可以成為一名合格的創(chuàng)意作家?？偟膩碚f，AI 幾乎通過了所有的課程寫作測試。

GPT-3 20 分鐘完成論文

雖然每個教授打分都不一樣，但該評分小組包括兩名博士和一名醫(yī)學(xué)碩士。他們總共有超過 55 年的高中和各種大學(xué)水平的教學(xué)經(jīng)驗(yàn)。寫作者包括應(yīng)屆畢業(yè)生和本科生，其中一些人在他們的研究領(lǐng)域?qū)懥颂崾尽Ｆ骄鶃碚f，他們需要 3 天時間完成任務(wù)。

對于絕大多數(shù)學(xué)生來說，3 天內(nèi)完成大學(xué)論文似乎是很難的事情，主要原因在于時間太短，但是 GPT-3 在 20 分鐘內(nèi)就完成了這個任務(wù)。GPT-3 利用深度學(xué)習(xí)產(chǎn)生類似人類的文本，每項(xiàng)任務(wù)花費(fèi) 3 到 20 分鐘完成，并且用最長的時間來編寫創(chuàng)造性的寫作敘述。為了避免人為干擾，GPT-3 只對輸出長度和重復(fù)文本進(jìn)行了輕微的編輯，其生成的內(nèi)容、真實(shí)信息和語法都沒有受到影響。

GPT-3 生成的美國歷史類作文示例如下：

GPT-3 可生成類似人類寫作的內(nèi)容

即使沒有人為干擾，GPT-3 的任務(wù)也或多或少地收到了與人類作者相同的反饋。49.2% 的評論涉及語法和句法，26.2% 的評論涉及重點(diǎn)和細(xì)節(jié)，語氣與行文結(jié)構(gòu)等也被提及，但分別只有 12.3% 和 10.8%。這與人類作家收到的評論比例幾乎相同，近 50% 的評論與語法和句法有關(guān)，25.4% 的評論與焦點(diǎn)和細(xì)節(jié)有關(guān)。超過 13% 的評論是關(guān)于人類專業(yè)知識，而 10.4% 的評論是關(guān)于整體風(fēng)格等。

人類作者與 GPT-3 的寫作結(jié)果收到的評論反饋情況：

盡管收到了同樣風(fēng)格的評論，GPT-3 生成的內(nèi)容與人類作者并不那么相似。以排名靠前的兩個單詞組合為例，GPT-3 和人類作者只分享了排名靠前的組合：「of the」?！窹eople who」、「it is」和「those who」常被 GPT-3 使用，而人類作者經(jīng)常使用的是「to the」、「in the」和「on the」?？傮w來說，這些單詞是在英語中經(jīng)常使用的，組合上的差異顯示出 AI 和人類在寫作結(jié)構(gòu)上的一些差異。

人類作者與 GPT-3 在寫作用詞上的差異分析：

考慮到 GPT-3 超高的論文得分，搭配統(tǒng)計數(shù)據(jù)的差異表明，人類作者比 AI 產(chǎn)生的獨(dú)特內(nèi)容明顯更多。

盡管 GPT-3 具有出色的產(chǎn)出，但其生成的論文在短期內(nèi)還無法獨(dú)立獲得大學(xué)學(xué)位。當(dāng)與人類作者競爭時，GPT-3 獲得了一些及格分?jǐn)?shù)，但在創(chuàng)意寫作方面有所欠缺。盡管它在眾多領(lǐng)域的成功為 AI 的未來帶來了希望，但對大學(xué)教授來說，AI 依然存在不足。

責(zé)任編輯：lq