牛津大學(xué)的一個(gè)團(tuán)隊(duì)從巴甫洛夫的狗中汲取靈感，設(shè)計(jì)了一個(gè)基于光子學(xué)的神經(jīng)網(wǎng)絡(luò)。

受 19 世紀(jì)初巴甫洛夫經(jīng)典條件反射實(shí)驗(yàn)的啟發(fā)，牛津大學(xué)的研究人員最近創(chuàng)造了一種片上光學(xué)處理器，它可能為人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 的前所未有的進(jìn)步打開(kāi)大門(mén)。

片上硬件的監(jiān)督學(xué)習(xí)。圖片由Optica和 Tan 等人提供

牛津聲稱(chēng)其新系統(tǒng)提供了先進(jìn)的數(shù)據(jù)集相似性檢測(cè)。與在電子處理器和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)上運(yùn)行的傳統(tǒng)機(jī)器學(xué)習(xí)算法不同，Oxford 的系統(tǒng)在無(wú)反向傳播的光子網(wǎng)絡(luò)上運(yùn)行，并利用了巴甫洛夫聯(lián)想學(xué)習(xí)。

在巴甫洛夫的狗身上尋找靈感

經(jīng)典條件反射是關(guān)聯(lián)兩種感覺(jué)刺激以實(shí)現(xiàn)相同反應(yīng)的過(guò)程。這個(gè)過(guò)程包括感覺(jué)和運(yùn)動(dòng)神經(jīng)元。當(dāng)感覺(jué)神經(jīng)元接收到感覺(jué)信號(hào)時(shí)，運(yùn)動(dòng)神經(jīng)元會(huì)產(chǎn)生感覺(jué)密集的動(dòng)作。

Ivan Pavlov 在 1900 年代初發(fā)現(xiàn)了這個(gè)概念，他觀察到，當(dāng)他通過(guò)教狗將鈴鐺的聲音與食物聯(lián)系起來(lái)時(shí)，他可以通過(guò)按鈴來(lái)誘導(dǎo)狗流涎。聯(lián)想學(xué)習(xí)過(guò)程將刺激s 2（即鈴聲）與自然刺激s 1（即食物的視覺(jué)或氣味）相關(guān)聯(lián)，以觸發(fā)狗的相同反應(yīng)（即流涎）。

巴甫洛夫聯(lián)想學(xué)習(xí)。圖片由Optica和 Tan 等人提供

牛津大學(xué)的研究人員將這一概念應(yīng)用于簡(jiǎn)化的神經(jīng)回路，具有兩個(gè)關(guān)鍵作用：1）收斂并關(guān)聯(lián)兩個(gè)輸入；2）存儲(chǔ)這些關(guān)聯(lián)的記憶以供以后參考。這項(xiàng)研究的核心是一種稱(chēng)為聯(lián)想單子學(xué)習(xí)元素（AMLE）的東西。AMLE 包括一個(gè)設(shè)備，可以有效地執(zhí)行經(jīng)典條件反射的基本聯(lián)想學(xué)習(xí)過(guò)程，以推進(jìn) AI/ML。

關(guān)于聯(lián)想一元學(xué)習(xí)元素

AMLE 將相變材料薄膜與兩個(gè)耦合波導(dǎo)集成以實(shí)現(xiàn)聯(lián)想學(xué)習(xí)。該材料（Ge 2 Sb 2 Te 5 (GST)）有效地調(diào)制波導(dǎo)之間的耦合。GST 以?xún)煞N狀態(tài)存在，非晶態(tài)或晶態(tài)，影響波導(dǎo)之間的耦合量。

在結(jié)晶狀態(tài)下，刺激s 1和s 2沒(méi)有顯示任何形式的關(guān)聯(lián)。然而，刺激（或輸入）在它們同時(shí)到達(dá)時(shí)開(kāi)始關(guān)聯(lián)，從而導(dǎo)致非晶化 GST。GST 越多異形化，刺激s 1和s 2關(guān)聯(lián)的越多，導(dǎo)致幾乎無(wú)法區(qū)分的輸出，稱(chēng)為學(xué)習(xí)閾值。AMLE 使用光子關(guān)聯(lián)學(xué)習(xí)來(lái)提供一個(gè)獨(dú)特的機(jī)器學(xué)習(xí)框架，以解決一般學(xué)習(xí)任務(wù)。

AMLE學(xué)習(xí)前后的電場(chǎng)分布。圖片由Optica和 Tan 等人提供

AMLE 消除了反向傳播，提高了計(jì)算速度

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)密集型 AI 系統(tǒng)在學(xué)習(xí)過(guò)程中需要大量數(shù)據(jù)集，這導(dǎo)致處理和計(jì)算成本增加。這些傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)利用反向傳播來(lái)實(shí)現(xiàn)高精度的人工智能學(xué)習(xí)。

根據(jù)牛津大學(xué)的說(shuō)法，AMLE 消除了反向傳播的需要，使用記憶材料來(lái)學(xué)習(xí)模式并關(guān)聯(lián)數(shù)據(jù)集中的相似特征。無(wú)反向傳播技術(shù)可加快 AI/ML 模型訓(xùn)練。例如，雖然傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的 AI 系統(tǒng)在使用多達(dá) 10,000 個(gè)兔子/非兔子圖像訓(xùn)練其模型后識(shí)別兔子，但無(wú)反向傳播技術(shù) (AMLE) 可以通過(guò)五個(gè)兔子/非兔子圖像對(duì)獲得類(lèi)似的結(jié)果顯著降低處理和計(jì)算成本。

AMLE 還利用波分復(fù)用來(lái)提高計(jì)算速度。此功能允許 AMLE 在各種基于單通道的波長(zhǎng)上發(fā)送多個(gè)光信號(hào)，從而消除反向傳播。AMLE 使用光來(lái)發(fā)送和接收數(shù)據(jù)，這一過(guò)程稱(chēng)為并行信號(hào)處理，從而產(chǎn)生更高的信息密度和更快的模式識(shí)別速度。

AMLE 研究的合著者鄭教授表示，雖然這種新開(kāi)發(fā)的設(shè)計(jì)不能完全替代傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，但它可以補(bǔ)充它們。在大量和更簡(jiǎn)單的數(shù)據(jù)集學(xué)習(xí)任務(wù)中，AMLE 設(shè)備顯著加快了光學(xué)處理速度。

在光子平臺(tái)上構(gòu)建 AMLE

牛津大學(xué)的研究人員在光子平臺(tái)上實(shí)施了 AMLE。使用該平臺(tái)，該團(tuán)隊(duì)展示了無(wú)反向傳播的單層權(quán)重人工神經(jīng)網(wǎng)絡(luò)架構(gòu)的可行性和有效性。

研究人員觀察到，如果輸入以已經(jīng)建立的光學(xué)延遲同時(shí)應(yīng)用，則關(guān)聯(lián)兩個(gè)不同的輸入可以產(chǎn)生相似的輸出。這些輸入之間的關(guān)聯(lián)可以允許關(guān)聯(lián)多個(gè)數(shù)據(jù)流，包括單個(gè)元素上的各種波長(zhǎng)——特別是在沒(méi)有光信號(hào)干擾的情況下。

根據(jù)牛津大學(xué)的說(shuō)法，這項(xiàng)研究可能會(huì)為下一代機(jī)器學(xué)習(xí)算法和架構(gòu)創(chuàng)新設(shè)定優(yōu)先級(jí)。

審核編輯 黃昊宇