老樹(shù)發(fā)新芽SVM的增量式訓(xùn)練

大家是不是以為我們的SVM篇就這樣結(jié)束了？nonono，對(duì)于這樣一位資深的老前輩來(lái)說(shuō)，寥寥幾篇怎能敘說(shuō)盡，換句話來(lái)說(shuō)，歷經(jīng)幾十年的歷練，還能屹立于ML之巔，必定擁有卓越的技術(shù)實(shí)力和深厚的專業(yè)底蘊(yùn)。

不過(guò)，大家在用SVM時(shí)一定也注意到過(guò)SVM本身只支持單次訓(xùn)練，要怎么解釋呢？意思就是說(shuō)我們?cè)谟?xùn)練一個(gè)SVM模型前，要事先指定好想要識(shí)別的類別或是任務(wù)，這樣訓(xùn)練好之后，模型就只能針對(duì)所指定的任務(wù)了。如果想要再添加新的需求，那不好意思了，需要再重新制定任務(wù)，并且這個(gè)任務(wù)必須包含老任務(wù)，不然SVM就會(huì)喜新厭舊了，只能完成新任務(wù)。

這樣一來(lái)是不是有點(diǎn)麻煩？有伙伴要問(wèn)了，我們CNN就能支持增量學(xué)習(xí)，你這SVM看起來(lái)還是不太行啊。那么為了給我們的SVM大佬正名，今天小編就給大家?guī)?lái)一篇番外，利用一些小技巧實(shí)現(xiàn)SVM的增量式訓(xùn)練。直接上代碼?。?/p>

繼續(xù)使用我們的鳶尾花數(shù)據(jù)集，不過(guò)這次我們做點(diǎn)特殊的。我們將其作為一個(gè)單分類的數(shù)據(jù)集來(lái)使用，具體怎么做呢？讓我們一步步來(lái)看：

鳶尾花數(shù)據(jù)集一共有150組樣本，我們先選取前50組出來(lái)，訓(xùn)練一個(gè)單分類模型，目的是讓其只能夠識(shí)別一種樣本，代碼片段：

測(cè)試結(jié)果打?。?/p>

好的，接下來(lái)就是至關(guān)重要的一步了，我們知道SVM全稱是支持向量機(jī)，那么其原理就是在訓(xùn)練樣本重抽取一部分當(dāng)作支持向量，即挑選出能夠代表全體數(shù)據(jù)的靈魂數(shù)據(jù)。換句話說(shuō)，這些支持向量本身就能代表當(dāng)前類別的所有數(shù)據(jù)，通過(guò)和支持向量間的對(duì)比即可認(rèn)定新數(shù)據(jù)是否屬于同一類別。那么好，我們要做的就是將這些支持向量提取出來(lái)，并將其與新數(shù)據(jù)拼接在一起作為新的訓(xùn)練數(shù)據(jù)：

這里提前看一下支持向量，針對(duì)于第一個(gè)類別，支持向量有4個(gè)：

繼續(xù)訓(xùn)練，并測(cè)試：

?

?

測(cè)試結(jié)果：

再來(lái)看下新的支持向量：

可以看到，在第一次支持向量的基礎(chǔ)上，又增加了針對(duì)第二個(gè)類別的。同時(shí)根據(jù)測(cè)試精度，可以看出，通過(guò)添加第一次訓(xùn)練多得到的支持向量，而非將全體數(shù)據(jù)進(jìn)行二次訓(xùn)練，能夠達(dá)到同樣的效果。也驗(yàn)證了我們的猜測(cè)：支持向量本身其實(shí)就是數(shù)據(jù)集的代表，只將其作為訓(xùn)練樣本，完全能夠替代全部數(shù)據(jù)。并以此為基礎(chǔ)實(shí)現(xiàn)SVM模型的增量式訓(xùn)練。

審核編輯：黃飛

?