正文字?jǐn)?shù)：3268 閱讀時(shí)長(zhǎng)：8分鐘

這篇文章是我們對(duì)人工智能研究論文的評(píng)論的一部分，這是一系列探索人工智能最新發(fā)現(xiàn)的文章。

人類(lèi)層面的表現(xiàn)。人類(lèi)層面的準(zhǔn)確性。無(wú)論是面部識(shí)別、物體檢測(cè)還是問(wèn)題回答，這些術(shù)語(yǔ)都是你能從開(kāi)發(fā)人工智能系統(tǒng)的公司經(jīng)常聽(tīng)到的。值得稱(chēng)道的是，近年來(lái)出現(xiàn)了許多由人工智能算法驅(qū)動(dòng)的偉大產(chǎn)品，這主要?dú)w功于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的進(jìn)步。 但是這些比較中的許多只考慮了在有限的數(shù)據(jù)集上測(cè)試深度學(xué)習(xí)算法的最終結(jié)果。這種方法會(huì)對(duì)人工智能系統(tǒng)產(chǎn)生錯(cuò)誤的預(yù)期，并在它們被賦予關(guān)鍵任務(wù)時(shí)產(chǎn)生危險(xiǎn)的結(jié)果。

在最近的一項(xiàng)研究中，一組來(lái)自德國(guó)不同組織和大學(xué)的研究人員強(qiáng)調(diào)了評(píng)估深度學(xué)習(xí)在處理視覺(jué)數(shù)據(jù)方面所面臨的挑戰(zhàn)。在他們題為《比較人類(lèi)和機(jī)器感知的臭名昭著的困難》的論文中，研究人員強(qiáng)調(diào)了目前比較深層神經(jīng)網(wǎng)絡(luò)和人類(lèi)視覺(jué)系統(tǒng)的方法中存在的問(wèn)題。

在他們的研究中，這位科學(xué)家進(jìn)行了一系列的實(shí)驗(yàn)，深入挖掘深度學(xué)習(xí)結(jié)果的表層，并將其與人類(lèi)視覺(jué)系統(tǒng)的工作進(jìn)行了比較。他們的發(fā)現(xiàn)提醒我們，在將人工智能與人類(lèi)進(jìn)行比較時(shí)，我們必須保持謹(jǐn)慎，即使它在相同的任務(wù)上表現(xiàn)出相同或更好的表現(xiàn)。 人類(lèi)和計(jì)算機(jī)視覺(jué)的復(fù)雜性 在似乎無(wú)休止的重建人類(lèi)感知能力的探索中，目前為止，目前為止，深度學(xué)習(xí)中的計(jì)算機(jī)視覺(jué)領(lǐng)域取得了最有利的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種常用于計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)算法的體系結(jié)構(gòu)，它可以完成傳統(tǒng)軟件難以完成的任務(wù)。

然而，將神經(jīng)網(wǎng)絡(luò)與人類(lèi)的感知能力進(jìn)行比較仍然是一個(gè)挑戰(zhàn)。這在一定程度上是因?yàn)槲覀儗?duì)人類(lèi)的視覺(jué)系統(tǒng)和大腦還有很多東西要學(xué)習(xí)的地方。深度學(xué)習(xí)系統(tǒng)的復(fù)雜工作方式也使問(wèn)題更加復(fù)雜。深層神經(jīng)網(wǎng)絡(luò)以非常復(fù)雜的方式工作，而這些方式往往會(huì)使它們自己的創(chuàng)造者感到困惑。 近年來(lái)，一個(gè)研究機(jī)構(gòu)試圖評(píng)估神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理及其在處理現(xiàn)實(shí)世界中情況的魯棒性。德國(guó)研究人員在他們的論文中寫(xiě)道：“盡管進(jìn)行了大量的研究，但比較人類(lèi)和機(jī)器的感知并不簡(jiǎn)單?！?。 在科學(xué)家們的研究中，它們重點(diǎn)集中在三個(gè)領(lǐng)域來(lái)測(cè)量人類(lèi)和深度神經(jīng)網(wǎng)絡(luò)如何處理視覺(jué)數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)如何感知輪廓？ 第一個(gè)測(cè)試涉及輪廓檢測(cè)。在這個(gè)實(shí)驗(yàn)中，人類(lèi)和人工智能參與者都必須說(shuō)明出一幅圖像是否包含封閉輪廓線(xiàn)。..這里的目標(biāo)是了解深度學(xué)習(xí)算法是否能夠?qū)W習(xí)閉合和開(kāi)放形狀的概念，以及它們是否能夠在各種情況下檢測(cè)到它們。

你能分辨出上面哪個(gè)圖像包含一個(gè)閉合的形狀嗎? 對(duì)人類(lèi)來(lái)說(shuō)，一個(gè)封閉的輪廓兩側(cè)有許多開(kāi)放的輪廓，這在視覺(jué)上是非常突出的。相比之下，探測(cè)封閉的等高線(xiàn)對(duì) DNNs 來(lái)說(shuō)可能比較困難，因?yàn)樗鼈兛赡苄枰h(yuǎn)距離的等高線(xiàn)整合”研究人員寫(xiě)道。 在實(shí)驗(yàn)中，科學(xué)家們使用了ResNet-50，一種由微軟人工智能研究人員開(kāi)發(fā)的流行卷積神經(jīng)網(wǎng)絡(luò)。他們使用遷移學(xué)習(xí)在 14000 張閉合和開(kāi)放輪廓圖像上調(diào)整人工智能模型。 然后，他們?cè)诟鞣N類(lèi)似訓(xùn)練數(shù)據(jù)的例子上測(cè)試人工智能，并逐漸向其他方向轉(zhuǎn)移。最初的發(fā)現(xiàn)表明，一個(gè)訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)似乎掌握了封閉輪廓的概念。盡管該網(wǎng)絡(luò)是在只包含有直線(xiàn)形狀的數(shù)據(jù)集上訓(xùn)練的，但它也可以在曲線(xiàn)上表現(xiàn)良好。 科學(xué)家們寫(xiě)道：“這些結(jié)果表明，我們的模型確實(shí)學(xué)習(xí)了開(kāi)放和閉合輪廓的概念，并執(zhí)行了類(lèi)似于人類(lèi)的輪廓整合過(guò)程?！?

ResNet神經(jīng)網(wǎng)絡(luò)能夠檢測(cè)出各種開(kāi)放的和封閉的輪廓圖像，盡管只訓(xùn)練了直線(xiàn)樣本的訓(xùn)練。 然而，進(jìn)一步的研究表明，其他不影響人的行為的變化降低了人工智能模型結(jié)果的準(zhǔn)確性。例如，改變線(xiàn)條的顏色和寬度會(huì)導(dǎo)致深度學(xué)習(xí)模型的精度突然下降。當(dāng)形狀變大到一定尺寸時(shí)，模型似乎也很難檢測(cè)到形狀。

當(dāng)看到包含不同顏色和厚度的線(xiàn)條的圖像，以及形狀大于訓(xùn)練集的圖像時(shí)，ResNet-50 神經(jīng)網(wǎng)絡(luò)就會(huì)掙扎。 神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗干擾也非常敏感，精心設(shè)計(jì)的變化是肉眼看不到，但會(huì)破壞機(jī)器學(xué)習(xí)系統(tǒng)的行為。

右邊的圖像經(jīng)過(guò)了對(duì)抗性的干擾，也就是人類(lèi)察覺(jué)不到的噪聲。對(duì)于人眼來(lái)說(shuō)，這兩個(gè)圖像是相同的。但是對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，它們是不同的圖像。 為了進(jìn)一步研究人工智能的決策過(guò)程，科學(xué)家們使用了特征包網(wǎng)絡(luò)（bag-of - feature network），這是一種試圖定位有助于深度學(xué)習(xí)模型決策的數(shù)據(jù)位的技術(shù)。研究人員發(fā)現(xiàn)，分析證明了“確實(shí)存在一些局部特征，比如端點(diǎn)與短邊的結(jié)合，這些特征通常可以給出正確的類(lèi)標(biāo)簽?！薄?機(jī)器學(xué)習(xí)能推理圖像嗎? 第二個(gè)實(shí)驗(yàn)測(cè)試了深度學(xué)習(xí)算法在抽象視覺(jué)推理中的能力。實(shí)驗(yàn)所用的數(shù)據(jù)是基于綜合視覺(jué)推理測(cè)試（SVRT），在這個(gè)測(cè)試中，人工智能必須回答需要理解圖片中不同形狀之間關(guān)系的問(wèn)題。測(cè)試包括相同-不同的任務(wù)（例如，圖片中的兩個(gè)形狀是否相同？）以及空間任務(wù)（例如，較小的形狀是否位于較大形狀的中心？）。人類(lèi)的觀(guān)察者很容易解決這些問(wèn)題。

SVRT 挑戰(zhàn)要求參與的 AI 解決相同-不同和空間的任務(wù)。 在他們的實(shí)驗(yàn)中，研究人員使用ResNet-50 測(cè)試了它在不同大小的訓(xùn)練數(shù)據(jù)集上的表現(xiàn)。結(jié)果表明，在28000個(gè)樣本上進(jìn)行微調(diào)優(yōu)化的預(yù)訓(xùn)練模型在相同的不同任務(wù)和空間任務(wù)上都表現(xiàn)良好。（之前的實(shí)驗(yàn)將一個(gè)非常小的神經(jīng)網(wǎng)絡(luò)訓(xùn)練成一百萬(wàn)張圖像。）隨著研究人員減少訓(xùn)練樣本的數(shù)量，人工智能的性能下降，但是在相同的不同任務(wù)中下降的速度更快。

“同-異任務(wù)比空間推理任務(wù)需要更多的訓(xùn)練樣本”，研究人員寫(xiě)道，并補(bǔ)充道，“這不能作為前饋神經(jīng)網(wǎng)絡(luò)和人類(lèi)視覺(jué)系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)?！? 研究人員指出，人類(lèi)的視覺(jué)系統(tǒng)天生就預(yù)先訓(xùn)練過(guò)大量抽象的視覺(jué)推理任務(wù)。這使得在低數(shù)據(jù)的情況下測(cè)試深度學(xué)習(xí)模型是不公平的，而且?guī)缀醪豢赡艿贸鲫P(guān)于人類(lèi)和人工智能的內(nèi)部信息處理差異的可靠結(jié)論。 研究人員寫(xiě)道：“很有可能，對(duì)這兩種任務(wù)從零開(kāi)始訓(xùn)練的人類(lèi)視覺(jué)系統(tǒng)，在樣本效率方面表現(xiàn)出與 ResNet-50 類(lèi)似的差異?！?。 測(cè)量深度學(xué)習(xí)的認(rèn)知差距 識(shí)別差距是視覺(jué)系統(tǒng)中最有趣的測(cè)試之一?？紤]以下圖像，在不向下滾動(dòng)的前提下，你能告訴我它是什么嗎？

下面是同一圖像的縮小視圖。毫無(wú)疑問(wèn)這是只貓。如果我給你看圖像的另一部分（也許是耳朵）的特寫(xiě)鏡頭，你可能有更大的機(jī)會(huì)預(yù)測(cè)圖像中的內(nèi)容。我們?nèi)祟?lèi)需要看到一定數(shù)量的整體形狀和圖案才能識(shí)別圖像中的物體。放大得越多，刪除的特征越多，就越難區(qū)分圖像中的內(nèi)容。

根據(jù)它們所包含的特征，貓圖像不同部分的特寫(xiě)鏡頭會(huì)對(duì)我們的感知產(chǎn)生不同的影響。 深度學(xué)習(xí)系統(tǒng)也以特征為基礎(chǔ)，但它們的工作方式更為微妙。神經(jīng)網(wǎng)絡(luò)有時(shí)會(huì)發(fā)現(xiàn)人眼看不到的微小特征，但即使在非常近距離放大時(shí)也能檢測(cè)到。 在最后的實(shí)驗(yàn)中，研究人員試圖通過(guò)逐漸放大圖像來(lái)測(cè)量深度神經(jīng)網(wǎng)絡(luò)的識(shí)別差距，直到人工智能模型的精度開(kāi)始大幅下降。 此前的實(shí)驗(yàn)表明，人的圖像識(shí)別缺口與深度神經(jīng)網(wǎng)絡(luò)存在很大的差異。但在他們的論文中，研究人員指出，之前大多數(shù)關(guān)于神經(jīng)網(wǎng)絡(luò)識(shí)別缺口的測(cè)試都是基于人類(lèi)選擇的圖像補(bǔ)丁。這些斑塊有利于人類(lèi)的視覺(jué)系統(tǒng)。 當(dāng)他們?cè)凇皺C(jī)器選擇”的補(bǔ)丁上測(cè)試他們的深度學(xué)習(xí)模型時(shí)，研究人員得到的結(jié)果顯示人類(lèi)和人工智能有著相似的差距。

識(shí)別間隙測(cè)試評(píng)估放大圖像如何影響人工智能的精度 研究人員寫(xiě)道：“這些結(jié)果凸顯了在完全相同的基礎(chǔ)上測(cè)試人類(lèi)和機(jī)器的重要性，以及在實(shí)驗(yàn)設(shè)計(jì)中避免人類(lèi)偏見(jiàn)的重要性?！薄Ｈ撕蜋C(jī)器之間的所有條件、指令和程序都應(yīng)該盡可能接近，以確保所有觀(guān)察到的差異都是由于內(nèi)在不同的決策策略，而不是由于測(cè)試程序的差異?！?縮小人工智能與人類(lèi)智能之間的差距 隨著我們的人工智能系統(tǒng)變得越來(lái)越復(fù)雜，我們將不得不開(kāi)發(fā)更復(fù)雜的方法來(lái)測(cè)試它們。該領(lǐng)域先前的研究表明，許多用于測(cè)量計(jì)算機(jī)視覺(jué)系統(tǒng)精度的流行基準(zhǔn)是誤導(dǎo)性的。德國(guó)研究人員的這項(xiàng)工作是許多嘗試測(cè)量人工智能和更好地量化人工智能和人類(lèi)智能之間的區(qū)別的努力之一。他們得出的結(jié)論可以為未來(lái)的人工智能研究提供方向。

研究人員寫(xiě)道：“在人類(lèi)和機(jī)器的比較研究中，最主要的挑戰(zhàn)似乎是人類(lèi)內(nèi)部強(qiáng)烈的解釋偏見(jiàn)?！薄！斑m當(dāng)?shù)姆治龉ぞ吆蛷V泛的交叉檢查（如網(wǎng)絡(luò)架構(gòu)的變化、實(shí)驗(yàn)程序的校準(zhǔn)、泛化測(cè)試、對(duì)抗性例子和受限網(wǎng)絡(luò)的測(cè)試）有助于對(duì)發(fā)現(xiàn)的解釋合理化，并將這種內(nèi)部偏見(jiàn)放到正確的角度?？偠灾诒容^人類(lèi)和機(jī)器的感知時(shí)，必須注意不要強(qiáng)加我們?nèi)祟?lèi)的系統(tǒng)性偏見(jiàn)?！?/p>

原文標(biāo)題：為什么AI感知與人類(lèi)感知很難直接比較?

文章出處：【微信公眾號(hào)：LiveVideoStack】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。