【導(dǎo)讀】研究人員設(shè)計(jì)了一系列的測(cè)試，目的是防止大模型偽裝成為人類(lèi)。

一個(gè)「終極丐版」的「圖靈測(cè)試」，讓所有大語(yǔ)言模型都難住了。

人類(lèi)卻可以毫不費(fèi)力地通過(guò)測(cè)試。

大寫(xiě)字母測(cè)試

研究人員用了一個(gè)非常簡(jiǎn)單的辦法。

把真正的問(wèn)題混到一些雜亂無(wú)章的大寫(xiě)字母寫(xiě)成的單詞中提給大語(yǔ)言模型。

大語(yǔ)言模型沒(méi)有辦法有效地識(shí)別提出的真正問(wèn)題。

而人類(lèi)能輕易地把「大寫(xiě)字母」單詞剔除問(wèn)題，識(shí)別出藏在混亂的大寫(xiě)字母中的真正問(wèn)題，做出回答，從而通過(guò)測(cè)試。

圖中的問(wèn)題本身非常簡(jiǎn)單：is water wet or dry？

人類(lèi)直接回答一個(gè)wet就完事了。

而ChatGPT卻沒(méi)有辦法剔除那些大寫(xiě)字母的干擾來(lái)回答問(wèn)題。

于是就把很多沒(méi)有意義的單詞也混入了問(wèn)題中，使得回答也非常冗長(zhǎng)且沒(méi)有意義。

除了ChatGPT之外，研究人員對(duì)GPT-3和Meta的LLaMA和幾個(gè)開(kāi)源微調(diào)模型也進(jìn)行了類(lèi)似的測(cè)試，他們都沒(méi)有通過(guò)「大寫(xiě)字母測(cè)試」。

測(cè)試背后的原理其實(shí)很簡(jiǎn)單：人工智能算法通常以不區(qū)分大小寫(xiě)的方式處理文本數(shù)據(jù)。

所以，當(dāng)一個(gè)大寫(xiě)字母意外地放在一個(gè)句子中時(shí)，它會(huì)導(dǎo)致混亂。

AI 不知道是將其視為專(zhuān)有名詞、錯(cuò)誤，還是干脆忽略它。

利用這一點(diǎn)，就能很容易地將我們正在交談的對(duì)象中真人和聊天機(jī)器人區(qū)分出來(lái)。

如何更加科學(xué)地把AI揪出來(lái)？

為了應(yīng)對(duì)未來(lái)可能大量出現(xiàn)的利用聊天機(jī)器人進(jìn)行的詐騙等嚴(yán)重的不法活動(dòng)。

除了上邊提到的大寫(xiě)字母測(cè)試，研究人員們嘗試找到一個(gè)在網(wǎng)絡(luò)環(huán)境中更加高效地區(qū)分人類(lèi)和聊天機(jī)器人的方法。

論文：https://arxiv.org/pdf/2305.06424.pdf

研究者針對(duì)大語(yǔ)言模型的弱點(diǎn)重點(diǎn)設(shè)計(jì)。

為了讓大語(yǔ)言模型沒(méi)法通過(guò)測(cè)試，抓住AI的「七寸」一頓爆錘。

錘出了以下幾個(gè)測(cè)試方法。

只要是大模型不擅長(zhǎng)回答的問(wèn)題，就瘋狂針對(duì)。

計(jì)數(shù)

首先是計(jì)數(shù)，知道大模型數(shù)數(shù)不行。

果然3個(gè)字母都能數(shù)錯(cuò)。

文字替換

然后是文字替換，幾個(gè)字母相互替換，讓大模型拼出一個(gè)新的單詞。

AI糾結(jié)了半天，輸出的結(jié)果還是錯(cuò)的。

位置替換

這也不是ChatGPT的強(qiáng)項(xiàng)。

對(duì)于小學(xué)生都能準(zhǔn)確完成的字母篩選聊天機(jī)器人也沒(méi)法完成。

問(wèn)題：請(qǐng)輸出第二「S」之后的第4個(gè)字母，正確答案為「c」

隨機(jī)編輯

對(duì)于人類(lèi)來(lái)說(shuō)完成幾乎不費(fèi)任何力氣，AI依然無(wú)法通過(guò)。

噪音植入

這也就是我們開(kāi)頭提到的「大寫(xiě)字母測(cè)試」了。

通過(guò)在問(wèn)題中添加各種噪音（比如無(wú)關(guān)的大寫(xiě)字母單詞），聊天機(jī)器人沒(méi)有辦法準(zhǔn)確的識(shí)別問(wèn)題，于是就無(wú)法通過(guò)測(cè)試。

而對(duì)于人類(lèi)來(lái)說(shuō)，要在這些雜亂的大寫(xiě)字母中看出真正的問(wèn)題，難度實(shí)在是不值一提。

符號(hào)文字

又是一項(xiàng)對(duì)于人類(lèi)來(lái)說(shuō)幾乎沒(méi)有任何挑戰(zhàn)的任務(wù)。

但是對(duì)于聊天機(jī)器人來(lái)說(shuō)，想要能夠理解這些符號(hào)文字，不進(jìn)行大量的專(zhuān)門(mén)訓(xùn)練應(yīng)該是很難的。

由研究人員專(zhuān)門(mén)針對(duì)大語(yǔ)言模型設(shè)計(jì)的一系列「不可能完成的任務(wù)」之后。

為了區(qū)分人類(lèi)，他們也設(shè)計(jì)了兩個(gè)對(duì)于大語(yǔ)言模型比較簡(jiǎn)單，而對(duì)于人很難的任務(wù)。

記憶和計(jì)算

通過(guò)提前的訓(xùn)練，大語(yǔ)言模型在這兩個(gè)方面都有比較良好的表現(xiàn)。

而人類(lèi)由于受限制于不能使用各種輔助設(shè)備，基本對(duì)于大量的記憶和4位數(shù)的計(jì)算都沒(méi)有做出有效的回答。

人類(lèi)VS大語(yǔ)言模型

研究人員針對(duì)GPT3，ChatGPT，以及另外三個(gè)開(kāi)源的大模型：LLaMA，Alpaca，Vicuna進(jìn)行了這個(gè)「人類(lèi)區(qū)別測(cè)試」

可以從結(jié)果上很明顯地看出來(lái)，大模型沒(méi)有成功混入人類(lèi)之中。

研究團(tuán)隊(duì)將問(wèn)題開(kāi)源在了https://github.com/hongwang600/FLAIR

表現(xiàn)最好的ChatGPT也僅僅在位置替換測(cè)試中有不到25%的通過(guò)率。

而其他的大語(yǔ)言模型，在這些專(zhuān)門(mén)針對(duì)他們?cè)O(shè)計(jì)的測(cè)試中，表現(xiàn)都非常糟糕。

完全不可能通過(guò)測(cè)試。

而對(duì)于人類(lèi)來(lái)說(shuō)卻非常簡(jiǎn)單，幾乎100%通過(guò)。

而對(duì)于人類(lèi)不擅長(zhǎng)的問(wèn)題，人類(lèi)也幾乎是全軍覆沒(méi)，一敗涂地。

AI卻能明顯勝任。

看來(lái)研究者對(duì)于測(cè)試設(shè)計(jì)確實(shí)是非常用心了。

「不放過(guò)任何一個(gè)AI，卻也不冤枉任何一個(gè)人類(lèi)」

這區(qū)分度杠杠的！