比深度神經(jīng)網(wǎng)絡(luò)速度還快的是什么？

或許光子DNN可以回答這個(gè)問(wèn)題。

現(xiàn)在，美國(guó)研究者開(kāi)發(fā)的一個(gè)光子神經(jīng)網(wǎng)絡(luò)(photonic deep neural network，PDNN)，讓圖像識(shí)別僅需1納秒。

1納秒是什么概念？它等于10-9秒，這與最先進(jìn)的微芯片單時(shí)鐘周期（最小的時(shí)間單位）相當(dāng)。

此外，研究者測(cè)試發(fā)現(xiàn)，PDNN對(duì)圖像進(jìn)行2分類(lèi)和4分類(lèi)的準(zhǔn)確率分別高達(dá)93.8%和89.8%。

誠(chéng)然，如今的大型多層神經(jīng)網(wǎng)絡(luò)高效且運(yùn)算能力很強(qiáng)，但其也受到硬件的限制，往往需要消耗大量的電力資源等。

而賓夕法尼亞大學(xué)的工程師們研發(fā)的PDNN，能夠直接分析圖像，不需要時(shí)鐘、傳感器或大型存儲(chǔ)模塊，以有效降低耗能。

這項(xiàng)研究成果的相關(guān)論文在6月1日登上了Nature雜志。

光子DNN比傳統(tǒng)DNN更快

和傳統(tǒng)DNN相比，光子DNN的原理和性能有何不同？

先來(lái)看看傳統(tǒng)DNN：

圖a是傳統(tǒng)DNN的結(jié)構(gòu)示意圖，包括一個(gè)數(shù)據(jù)排列單元，然后是輸入層、幾個(gè)隱藏層，和一個(gè)提供分類(lèi)輸出的輸出層。

圖b展示了傳統(tǒng)N輸入神經(jīng)元的結(jié)構(gòu)：輸入的線(xiàn)性加權(quán)和，通過(guò)一個(gè)非線(xiàn)性激活函數(shù)，產(chǎn)生神經(jīng)元的輸出。

圖c和圖d分別是一個(gè)PDNN芯片的神經(jīng)網(wǎng)絡(luò)示意圖和N輸入神經(jīng)元結(jié)構(gòu)。

首先在一個(gè)5×6光柵耦合器上形成輸入圖像，然后將其排列成4個(gè)重疊的子圖像，子圖像的像素被傳送到第一層神經(jīng)元，形成一個(gè)卷積層。

后面的神經(jīng)元與它們的前一層完全連接，該網(wǎng)絡(luò)產(chǎn)生2個(gè)輸出，可最多為4種圖像信息分類(lèi)。

對(duì)于這些神經(jīng)元，其輸入都是光學(xué)信號(hào)。

在每個(gè)神經(jīng)元中，線(xiàn)性計(jì)算是通過(guò)光學(xué)方式進(jìn)行的，而非線(xiàn)性激活函數(shù)是通過(guò)光電子方式實(shí)現(xiàn)的，從而可使分類(lèi)時(shí)間低于570ps（=0.57ns）。

論文的通訊作者，電氣工程師Firooz Aflatouni對(duì)這個(gè)PDNN的性能補(bǔ)充描述道：它每秒可以對(duì)近18億張圖像進(jìn)行分類(lèi)，而傳統(tǒng)的視頻幀率是每秒24至120幀。

這里的PDNN芯片電路被集成在僅9.3 mm2的面積內(nèi)，不需要時(shí)鐘、傳感器以及大型存儲(chǔ)模塊。

一個(gè)激光器被耦合到芯片內(nèi)，為各個(gè)神經(jīng)元提供光源；該芯片包含兩個(gè)5×6的光柵耦合器，分別作為輸入像素陣列和校準(zhǔn)陣列。

不過(guò)，均勻分布的供給光每個(gè)神經(jīng)元光提供了相同的輸出范圍，顯然這將允許將其擴(kuò)展到更大規(guī)模的PDNN。

光子DNN芯片的圖像分類(lèi)測(cè)試

研究者們讓這個(gè)PDNN微芯片識(shí)別手寫(xiě)字母。

一組實(shí)驗(yàn)測(cè)試了PDNN芯片的二分類(lèi)性能：需要對(duì)共計(jì)216個(gè)“p”和“d”字母組成的數(shù)據(jù)集進(jìn)行分類(lèi)。

該芯片準(zhǔn)確率高于93.8%。（（92.8%+94.9%）/2）

另一組實(shí)驗(yàn)測(cè)試了PDNN芯片的四分類(lèi)性能：需對(duì)共計(jì)432個(gè)“p”、“d”、“a”、“t”字母組成的數(shù)據(jù)集進(jìn)行分類(lèi)。

該芯片分類(lèi)準(zhǔn)確率高于89.8%。

這些結(jié)果表明，即使有更多的類(lèi)（如分四類(lèi)情況），且存在打印機(jī)引起的變化和噪聲，PDNN芯片仍取得了較高的分類(lèi)精度。

為了比較這個(gè)PDNN和傳統(tǒng)DNN的圖像分類(lèi)準(zhǔn)確性，研究者還測(cè)試了在Python中使用Keras庫(kù)實(shí)現(xiàn)的190個(gè)神經(jīng)元組成的DNN，結(jié)果顯示：它在相同圖像上的分類(lèi)準(zhǔn)確率為96%。

去年，就有一位日本NTT研究所的科學(xué)家表示，光子計(jì)算可以降低神經(jīng)網(wǎng)絡(luò)計(jì)算的能耗，擁有巨大潛力，很可能成為深度學(xué)習(xí)的未來(lái)重點(diǎn)發(fā)展對(duì)象。

該研究的賓大工程師們則表示，PDNN對(duì)光學(xué)數(shù)據(jù)的直接、無(wú)時(shí)鐘處理消除了模擬-數(shù)字轉(zhuǎn)換和對(duì)大型內(nèi)存模塊的要求，使下一代深度學(xué)習(xí)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)更快、更節(jié)能。

對(duì)于光子深度神經(jīng)網(wǎng)絡(luò)的前景和應(yīng)用，你怎么看？

論文地址： https://www.nature.com/articles/s41586-022-04714-0#article-info 參考鏈接： https://spectrum.ieee.org/photonic-neural-network

審核編輯 ：李倩