本篇介紹的也是采用了降維的思想來(lái)加速網(wǎng)絡(luò)推理，但是數(shù)學(xué)上采用了不同的方法。而且這篇文章提出的方法可以加速深度網(wǎng)絡(luò)，其在vgg-16上進(jìn)行了實(shí)驗(yàn)，獲得了4倍的加速效果，而在imageNet分類中top-5錯(cuò)誤率僅有0.3%升高。

1、原理

首先我們來(lái)看神經(jīng)網(wǎng)絡(luò)中的卷積運(yùn)算的形式，對(duì)于任一個(gè)隱藏層，它有c幅輸入圖片，每幅圖片都會(huì)和一個(gè)卷積核進(jìn)行卷積運(yùn)算。假設(shè)卷積核大小為kxk，那么就有c個(gè)卷積核。我們可以將圖片沿著個(gè)數(shù)方向重新生成一個(gè)維度，圖片就成了一個(gè)3D的張量，大小為hxhxc。卷積核為kxkxc，其在kxk方向進(jìn)行劃窗，而c方向進(jìn)行求和。每個(gè)輸出點(diǎn)實(shí)際上是kxkxc個(gè)乘法求和結(jié)果。這c個(gè)卷積核會(huì)輸出一幅圖片，如果隱藏層有d個(gè)節(jié)點(diǎn)，實(shí)際上是輸出n幅圖片。如果將kxkxcxd這么大的卷積核進(jìn)行重新排列，排成一個(gè)d行，每行有kxkxc個(gè)數(shù)據(jù)，就稱為了一個(gè)矩陣，我們令為W。那么輸入圖片排成一個(gè)向量，長(zhǎng)度為kxkxc。用矩陣乘法可以表示為：

W為一個(gè)dx(kkc+1)的維度矩陣，多增加一個(gè)1是將bias加在末尾。但是有人會(huì)問(wèn)一幅圖片是hxh個(gè)點(diǎn)，現(xiàn)在僅在x向量中取了其kxk個(gè)點(diǎn)，那么其他的點(diǎn)如何計(jì)算呢？實(shí)際上其它點(diǎn)可以看做為多組x向量輸入，在之后降維分解中都考慮在內(nèi)。

從上述公式看出，計(jì)算量復(fù)雜度為O(dkkc)。文章中文章可以用于更深網(wǎng)絡(luò)的本質(zhì)原因。

接下來(lái)作者重新表達(dá)y為：

M是一個(gè)dxd的矩陣，秩為d’。y-是平均響應(yīng)，其維度也為d’。但是這里作者為什么引入了y-并沒(méi)有講。我想和歸一化有類似作用吧，可以糾正數(shù)據(jù)沿著網(wǎng)絡(luò)傳輸?shù)陌l(fā)散性。經(jīng)過(guò)降維的后的y，其和x關(guān)系變?yōu)榱耍?/p>

b是新生成的bias，為：

由于M的秩為d’，所以可以進(jìn)行分解為：

那么就有：

W矩陣變?yōu)閐’x(kkc+1)大小,因此計(jì)算量降低為O(d’kkc)+O(dd’)，因?yàn)镺(dd’)很小，所以計(jì)算復(fù)雜度變?yōu)樵瓉?lái)的d’/d。實(shí)際上是減小了神經(jīng)網(wǎng)絡(luò)中輸入通道的數(shù)量，將輸入通道減少拆分成兩層網(wǎng)絡(luò)，如圖中所示。而CP分解的權(quán)重通道數(shù)沒(méi)有變，而是減小了kxk方向維度。

以上公式的導(dǎo)出都是基于y有較低的維數(shù)表達(dá)，實(shí)際中并不會(huì)有這樣嚴(yán)格的數(shù)學(xué)性質(zhì)，因?yàn)閷?duì)于任意輸入x，以及不同訓(xùn)練集訓(xùn)練出來(lái)的網(wǎng)絡(luò)，我們不能保證y的維數(shù)實(shí)際低于d。所以這變成了一個(gè)近似問(wèn)題，如何選擇一個(gè)d’，同時(shí)使得新獲得的參數(shù)的網(wǎng)絡(luò)可以逼近最初結(jié)果。作者使用平方差來(lái)作為目標(biāo)函數(shù)進(jìn)行計(jì)算：

以上優(yōu)化問(wèn)題可以很容易獲得解。實(shí)際上是尋找yyT的最大本征值，這類似于PCA方法。通過(guò)提取出排列在前幾位最大的本征值，而剩余本征值設(shè)置為0來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)。最大本征值反應(yīng)了表達(dá)y的信息的能力。然后通過(guò)一些矩陣變換就可以得到M矩陣。

上述方法很容易兼容非線性單元，因?yàn)榭紤]非線性單元后，優(yōu)化目標(biāo)變?yōu)椋?/p>

其中r為非線性函數(shù)，作者只考慮了ReLu函數(shù)的求解。以上目標(biāo)函數(shù)很難求解，因此作者做了一些數(shù)學(xué)變換，將上述損失函數(shù)進(jìn)行了松弛處理，即引入了z，重新表達(dá)為：

從中看出當(dāng)lamda逼近無(wú)窮時(shí)，其目標(biāo)函數(shù)等同于原始目標(biāo)函數(shù)。通過(guò)上述方法，可以優(yōu)化每一層的網(wǎng)絡(luò)參數(shù)。因?yàn)槊繉泳W(wǎng)絡(luò)的輸出是下層輸入，所以整個(gè)優(yōu)化一層層傳遞下去可以完成整體網(wǎng)絡(luò)優(yōu)化。

2、結(jié)果

首先作者選擇了一個(gè)10層網(wǎng)絡(luò)進(jìn)行試驗(yàn)，結(jié)果為：

這里symmetric和asymmetric是作者進(jìn)行非線性優(yōu)化時(shí)，分別使用了原始的輸入結(jié)果和近似輸入結(jié)果來(lái)進(jìn)行的。實(shí)際上是修正每層造成的錯(cuò)誤沿著層向前積累。可以看出asymmetric比symmetric有更低的錯(cuò)誤率。

VGG是一個(gè)廣泛使用的網(wǎng)絡(luò)模型，是一個(gè)深度網(wǎng)絡(luò)，其被廣泛用于物體識(shí)別，圖像分割，視頻分析中。作者在VGG-16上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果和CP分解的做了對(duì)比，如圖：

結(jié)論

本文介紹了另外一種降維方法，其可以優(yōu)化深度網(wǎng)絡(luò)。個(gè)人感覺(jué)其還是有一定局限性，首先其在網(wǎng)絡(luò)前向傳輸優(yōu)化時(shí)，錯(cuò)誤率還是會(huì)進(jìn)行積累，這也是僅僅優(yōu)化了16層VGG的原因，當(dāng)然這相比CP分解確實(shí)加深了。但是類似resnet這樣更深的網(wǎng)絡(luò)，作者并沒(méi)有報(bào)道過(guò)。

編輯：hfy