前言

支持向量機是一種經(jīng)典的機器學(xué)習(xí)算法，在小樣本數(shù)據(jù)集的情況下有非常廣的應(yīng)用，我覺得，不懂支持向量機不算是入門機器學(xué)習(xí)。本篇循序漸進的講解了支持向量機的分類思想，希望對您有幫助。

目錄

1. 函數(shù)間隔和幾何間隔

2. 支持向量機的分類思想

3. 總結(jié)

1. 函數(shù)間隔和幾何間隔

為了能夠更好的闡述支持向量機的分類思想，需要理解函數(shù)間隔和幾何間隔的定義。

1. 點到超平面的距離

假設(shè)超平面方程：

點到平面的距離：

由上式可得：沒有分類信息，而函數(shù)間隔和幾何間隔不僅包含了距離信息，還包含了分類信息。

2. 函數(shù)間隔和幾何間隔

對于給定的訓(xùn)練數(shù)據(jù)集T，正樣本和負樣本分別為+1和-1，我們對式（1.1）稍微進行了修改：

(1). 點到平面的距離不作規(guī)范化處理，得：

(2). 去掉絕對值符號，并乘以標記結(jié)果y0，得：

d2表達式就是函數(shù)間隔的定義，有兩層含義：大小表示點P0到超平面的距離，正負表示點P0是否正確分類，若d<0，分類錯誤；反之，則分類正確。

因此，我們定義點到超平面的函數(shù)間隔為：

接著定義訓(xùn)練數(shù)據(jù)集T的函數(shù)間隔是所有樣本點(xi,yi)的函數(shù)間隔的最小值，即：

其中，

但是，若成比例的增加超平面參數(shù)w和b，超平面沒有改變，但是函數(shù)間隔卻成比例的增加了，這是不符合理論的，因此，需要對函數(shù)間隔進行規(guī)范化，得：

(1.7)式就是幾何間隔的定義，幾何間隔的值是確定的。

2. 支持向量機的分類思想

1. 感知機和logistic回歸的分類思想

感知機的損失函數(shù)為所有誤分類點到超平面的距離之和：

無誤分類點時，損失函數(shù)為0，滿足模型分類條件的超平面有無數(shù)個，如下圖：

初始超平面為l1，誤分類點為紅色框，最小化式（2.1）有無窮多個滿足損失函數(shù)為0的超平面，如上圖的l2~ln，然而，最佳分類超平面只有一個，即支持向量機所對應(yīng)的超平面。

假設(shè)logistic回歸的模型是，logistic回歸的損失函數(shù)：

簡單分析（2.2）式的分類思想：

(1).當yi=1時，損失函數(shù)簡化為：

若要使損失函數(shù)越小越好，則xi的值越大越好，如下圖：

圖2.1

當往箭頭方向移動時，損失函數(shù)逐漸變小。

(2). 當yi=0時，損失函數(shù)簡化為：

若要使損失函數(shù)越小越好，則xi的值越小越好，如下圖：

當往箭頭方向移動時，損失函數(shù)逐漸變小。

2. 支持向量機的分類思想

支持向量機結(jié)合了感知機和logistic回歸分類思想，假設(shè)訓(xùn)練樣本點(xi,yi)到超平面H的幾何間隔為γ(γ>0)，由上節(jié)定義可知，幾何間隔是點到超平面最短的距離，如下圖的紅色直線：

用logisitic回歸模型分析幾何間隔：

因此，當γ越大時，損失函數(shù)越小，結(jié)果為正樣本的概率也越大。

因此，感知機的分類思想是最大化點到超平面的幾何間隔，這個問題可以表示為下面的約束最優(yōu)化問題：

根據(jù)幾何間隔和函數(shù)間隔的關(guān)系，得幾何間隔的約束最優(yōu)化問題：

函數(shù)間隔是樣本點到超平面的最短距離，因此，令函數(shù)間隔為常數(shù)1，那么其他樣本點到超平面的距離都大于1，且最大化和最小化是等價的。于是就得到下面的最優(yōu)化問題：

由(2.8)式和(2.9)式，解得最優(yōu)解w*,b*，易知最優(yōu)超平面到正負樣本的幾何間隔相等（請理解幾何間隔的含義，然后仔細回想整個分類過程，就會得到這個結(jié)論）。

3. 總結(jié)

本文結(jié)合了感知機和logistic回歸的分類思想來推導(dǎo)支持向量機的最優(yōu)化問題，即最大間隔分離超平面。