1、機器學(xué)習(xí)定義

我們一起看看AI界的大牛對機器學(xué)習(xí)的定義

（1）機器學(xué)習(xí)中經(jīng)典的“支持向量機（SVM）”的主要提出者弗拉基米爾·萬普尼克（Vladimir Vapnik），在其著作《統(tǒng)計學(xué)習(xí)理論的本質(zhì)》中這樣定義機器學(xué)習(xí)“機器學(xué)習(xí)就是一個基于經(jīng)驗數(shù)據(jù)的函數(shù)估計問題”。

（2）卡耐基梅隆大學(xué)的機器學(xué)習(xí)和人工智能領(lǐng)域知名教授湯姆·米切爾（Tom Mitchell），在他經(jīng)典教材《機器學(xué)習(xí)》中很抽象的定義了機器學(xué)習(xí)：對于某類任務(wù)（Task，簡稱T）和某項性能評價準則（Performance，簡稱P），如果一個計算機程序在T上以P作為性能度量，隨著經(jīng)驗（Experience，簡稱E）的積累，不斷自我完善，那么我們稱這個計算機程序從經(jīng)驗E中進行了學(xué)習(xí)。比如學(xué)習(xí)圍棋的程序AlphaGo，它可以通過和自己下棋獲取經(jīng)驗，那么它的任務(wù)T就是“參與圍棋對弈”，它的性能P就是用“贏得比賽的百分比”來度量的。米切爾教授認為，在機器學(xué)習(xí)中我們需要明確三個特征：任務(wù)的類型、衡量任務(wù)性能提升的標準以及獲取經(jīng)驗的來源。

（3）南京大學(xué)的機器學(xué)習(xí)專家周志華在經(jīng)典教材《機器學(xué)習(xí)》中這樣定義：機器學(xué)習(xí)致力于研究如何通過計算的手段，利用經(jīng)驗來改善系統(tǒng)自身的性能，而在計算機系統(tǒng)中，“經(jīng)驗”通常以“數(shù)據(jù)”形式存在，因此機器學(xué)習(xí)研究的主要內(nèi)容是關(guān)于在計算機上從數(shù)據(jù)中產(chǎn)生“模型”（model）的算法，即“學(xué)習(xí)算法”。有了學(xué)習(xí)算法，我們把經(jīng)驗數(shù)據(jù)提供給它，它就能基于這些數(shù)據(jù)產(chǎn)生模型，而在面對新的情況時，模型會給我們提供相應(yīng)的判斷。比如我們在買瓜的時候看到一個沒剖開的西瓜，我們可以利用經(jīng)驗對這個瓜的好壞進行判斷。

結(jié)合這些行業(yè)大牛的定義，我們可以這樣理解機器學(xué)習(xí)，“從數(shù)據(jù)中學(xué)習(xí)，形成有效經(jīng)驗，提升執(zhí)行任務(wù)/工作的表現(xiàn)”，而我們對于機器學(xué)習(xí)的研究就是一個不斷找尋更有效算法的過程。對于計算機系統(tǒng)而言，所有的“經(jīng)驗”都是以數(shù)據(jù)的形式存在的，而數(shù)據(jù)作為學(xué)習(xí)的對象類型是多樣的，可以是數(shù)字、文字、圖像、音頻、視頻，也可以是它們的各種組合。經(jīng)典機器學(xué)習(xí)中還要依賴人類的先驗知識，把原始數(shù)據(jù)預(yù)處理成各種特征，然后對特征進行分類。而這種分類的效果，高度取決于特征選取的好壞，因此傳統(tǒng)的機器學(xué)習(xí)專家們，把大部分時間都花在如何尋找更加合適的特征上。我們進入在“數(shù)據(jù)泛濫，信息超量”的大數(shù)據(jù)時代后，能自動從大數(shù)據(jù)中獲取知識的機器學(xué)習(xí)一定會扮演重要角色。

2、機器學(xué)習(xí)的主要形式

機器學(xué)習(xí)的主要形式有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)及強化學(xué)習(xí)，我們再來回顧一下每一種形式的特點

（1）有監(jiān)督學(xué)習(xí)：有監(jiān)督學(xué)習(xí)使用有標簽的訓(xùn)練數(shù)據(jù)，“監(jiān)督”可以理解為已經(jīng)知道訓(xùn)練樣本（輸入數(shù)據(jù)）中期待的輸出信號（標簽）。監(jiān)督學(xué)習(xí)過程是，先為機器學(xué)習(xí)算法提供打過標簽的訓(xùn)練數(shù)據(jù)以擬合預(yù)測模型，然后用該模型對未打過標簽的新數(shù)據(jù)進行預(yù)測。以垃圾郵件過濾為例，可以采用監(jiān)督機器學(xué)習(xí)算法在打過標簽的（正確標識垃圾與非垃圾）電子郵件的語料庫上訓(xùn)練模型，然后用該模型來預(yù)測新郵件是否屬于垃圾郵件。當(dāng)前火熱的神經(jīng)網(wǎng)絡(luò)就屬于有監(jiān)督學(xué)習(xí)。

（2）無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)的使用未標記過的訓(xùn)練數(shù)據(jù)，“無監(jiān)督”就不知道輸入對應(yīng)的輸出結(jié)果了，無監(jiān)督學(xué)習(xí)讓算法自身發(fā)現(xiàn)數(shù)據(jù)的模型和規(guī)律。比如“聚類”，利用距離的親疏遠近來衡量不同類型。還有“異常檢測”，判斷某些點不合群?！爱惓z測”也是“聚類”的反向應(yīng)用。

（3）半監(jiān)督學(xué)習(xí)：則采用“中庸之道”，利用聚類技術(shù)擴大已知標簽范圍，也就是說，訓(xùn)練中使用的數(shù)據(jù)只有一小部分是標記過的，而大部分是沒有標記的，然后逐漸擴大標記數(shù)據(jù)的范圍。

（4）強化學(xué)習(xí)：強化學(xué)習(xí)也使用未標記的數(shù)據(jù)，它可以通過某種方法（獎懲函數(shù)）知道你是離正確答案越來越近，還是越來越遠。強化學(xué)習(xí)的目標是開發(fā)一個系統(tǒng)，通過與環(huán)境的交互來提高其性能，我們也可以把強化學(xué)習(xí)看作一個與監(jiān)督學(xué)習(xí)相關(guān)的領(lǐng)域，然而強化學(xué)習(xí)的反饋并非標定過的正確標簽或數(shù)值，而是獎勵函數(shù)對行動度量的結(jié)果。強化學(xué)習(xí)的常見示例是國際象棋，系統(tǒng)根據(jù)棋盤的狀態(tài)或環(huán)境來決定一系列的行動，獎勵定義為比賽的輸或贏。

3、機器學(xué)習(xí)系統(tǒng)的路線圖

（1）預(yù)處理：我們能夠獲得的原始數(shù)據(jù)很少以理想形式出現(xiàn)，無法滿足學(xué)習(xí)算法的最佳性能，因此數(shù)據(jù)的預(yù)處理是所有機器學(xué)習(xí)應(yīng)用中最關(guān)鍵的步驟。為了獲得模型的最佳性能，許多機器學(xué)習(xí)算法要求所選特征的測量結(jié)果單位相同，通常通過把特征數(shù)據(jù)變換到［0，1］的取值范圍，或者均值為0、方差為1的標準正態(tài)分布來實現(xiàn)。由于某些選定的特征相互之間可能高度相關(guān)，因此在某種程度上呈現(xiàn)冗余的現(xiàn)象。在這種情況下，可以通過降維技術(shù)將特征壓縮到低維子空間，減少存儲空間，提高算法的運行速度。預(yù)處理中為了確定機器學(xué)習(xí)算法不僅在訓(xùn)練數(shù)據(jù)集上表現(xiàn)良好，而且對新數(shù)據(jù)也有很好的適應(yīng)性，我們將數(shù)據(jù)集隨機分成單獨的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。用訓(xùn)練數(shù)據(jù)集來訓(xùn)練和優(yōu)化機器學(xué)習(xí)模型，同時把測試數(shù)據(jù)集保留到最后以評估最終的模型。

（2）訓(xùn)練和選擇預(yù)測模型：為了完成各種不同的任務(wù)，目前開發(fā)了許多不同的機器學(xué)習(xí)算法，但沒有哪個分類算法是完美的。例如，每個分類算法都存在著固有的偏置，如果不對分類任務(wù)做任何假設(shè)，沒有哪個分類模型會占上風(fēng)。因此，在實際應(yīng)用中我們至少要比較幾種不同的算法，以便訓(xùn)練和選擇性能最好的模型。在比較不同的模型之前，我們首先要確定度量性能的指標，通常用分類準確率作為度量指標，其定義為正確分類的個體占所有個體的百分比。我們不能期望軟件庫所提供的不同機器學(xué)習(xí)算法的默認參數(shù)值對特定問題最優(yōu)，因此使用超參數(shù)調(diào)優(yōu)技術(shù)來調(diào)優(yōu)模型的性能就特別重要，我們可以這樣理解超參數(shù)，這不是從數(shù)據(jù)中學(xué)習(xí)的參數(shù)，而是模型的調(diào)節(jié)旋鈕，可以來回旋轉(zhuǎn)調(diào)整模型的性能。

（3）評估模型并對未曾謀面的數(shù)據(jù)進行預(yù)測：在訓(xùn)練數(shù)據(jù)集上擬合并選擇模型之后，我們可以用測試數(shù)據(jù)集來評估它在從來沒見過的新數(shù)據(jù)上的表現(xiàn)，以評估泛化誤差。如果我們對模型的表現(xiàn)滿意，那么就可以用它來預(yù)測未來的新數(shù)據(jù)。

4、機器學(xué)習(xí)函數(shù)化

（1）機器學(xué)習(xí)就是找一個好用的函數(shù)

《未來簡史》的作者赫拉利這樣定義，人工智能實際上就是找到一種高效的“電子算法”，用以代替或在某項指標上超越人類的“生物算法”。那么，任何一個“電子算法”都要實現(xiàn)一定的功能（Function）才有意義，這種“功能”就是我們使用的“函數(shù)”。

臺灣大學(xué)李宏毅博士的說法更通俗一些，機器學(xué)習(xí)在形式上可近似等同于在數(shù)據(jù)對象中通過統(tǒng)計或推理的方法，尋找一個有關(guān)特定輸入和預(yù)期輸出的功能函數(shù)f。

通常我們把輸入變量空間記作X，也就是特征，變量既可以是標量（scalar），也可以是向量（vector），包括各種數(shù)據(jù)表或矩陣的列；而把輸出變量空間記作Y，也就是目標。所謂的機器學(xué)習(xí)就是完成如下變換：Y=f （X）。

在這樣的函數(shù)中，針對語音識別功能，如果輸入一個音頻信號，就能輸出諸如“你好”或“How are you？”等這類識別信息；針對圖片識別功能，如果輸入的是一張圖片，在這個函數(shù)的加工下，就能輸出一個或貓或狗的判定；針對下棋博弈功能，如果輸入的是一個圍棋的棋譜局勢，它能輸出這盤圍棋下

一步的“最佳”走法；而對于具備智能交互功能的系統(tǒng)（比如微軟小冰），當(dāng)我們給這個函數(shù)輸入諸如“How are you？”，它就能輸出諸如“I am fine，thank you，and you？”等智能的回應(yīng)。

總結(jié)這一下，機器學(xué)習(xí)的過程和目標就是在尋找一個“好用的”函數(shù)。

（2）如何才能尋找到一個好用的函數(shù)

“好用的”函數(shù)并不那么好找，輸入一只貓的圖像后，這個f函數(shù)并不一定就能輸出一只貓，可能它會錯誤地輸出為一條狗或一條蛇，開發(fā)者想要找到好的函數(shù)必須要走好三大步

如何找一系列的函數(shù)來實現(xiàn)預(yù)期的功能，這是建模問題。

如何找出一系列評價標準來評估函數(shù)的好壞，這是評估問題。

如何快速找到性能最佳的函數(shù)，這是優(yōu)化問題。

審核編輯：郭婷