到目前為止，我們一直專注于如何通過訓(xùn)練具有多個輸出和 softmax 函數(shù)的（線性）神經(jīng)網(wǎng)絡(luò)來解決多類分類問題。將我們模型的輸出解釋為概率預(yù)測，我們激發(fā)并推導(dǎo)了交叉熵?fù)p失函數(shù)，它計算我們的模型（對于一組固定參數(shù)）分配給實際標(biāo)簽的負(fù)對數(shù)似然。最后，我們通過將我們的模型擬合到訓(xùn)練集來將這些工具付諸實踐。然而，一如既往，我們的目標(biāo)是學(xué)習(xí)一般模式，根據(jù)以前看不見的數(shù)據(jù)（測試集）進(jìn)行經(jīng)驗評估。訓(xùn)練集上的高精度毫無意義。每當(dāng)我們的每個輸入都是唯一的（對于大多數(shù)高維數(shù)據(jù)集而言確實如此）時，我們可以通過僅記住第一個訓(xùn)練時期的數(shù)據(jù)集并隨后在我們看到標(biāo)簽時查找標(biāo)簽來獲得訓(xùn)練集的完美準(zhǔn)確性一個新形象。然而，記住與確切訓(xùn)練示例相關(guān)聯(lián)的確切標(biāo)簽并不能告訴我們?nèi)绾螌π率纠M(jìn)行分類。如果沒有進(jìn)一步的指導(dǎo)，每當(dāng)我們遇到新的例子時，我們可能不得不求助于隨機猜測。

許多緊迫的問題需要立即引起注意：

1. 我們需要多少測試示例才能精確估計我們的分類器對基礎(chǔ)人群的準(zhǔn)確性？

2. 如果我們在同一個測試中反復(fù)評估模型會發(fā)生什么？

3. 為什么我們應(yīng)該期望將我們的線性模型擬合到訓(xùn)練集應(yīng)該比我們的樸素記憶方案更好？

雖然第 3.6 節(jié)介紹了線性回歸背景下過度擬合和泛化的基礎(chǔ)知識，但本章將更深入一些，介紹統(tǒng)計學(xué)習(xí)理論的一些基本思想。事實證明，我們通?？梢?/font>先驗地保證泛化：對于許多模型，以及泛化差距的任何期望上限?，我們通常可以確定一些所需的樣本數(shù)量n這樣如果我們的訓(xùn)練集至少包含n樣本，那么我們的經(jīng)驗誤差將位于?的真實錯誤，對于任何數(shù)據(jù)生成分布。不幸的是，事實證明，雖然這些類型的保證提供了一套深刻的知識構(gòu)建塊，但它們對深度學(xué)習(xí)從業(yè)者的實用性有限。簡而言之，這些保證表明，確保先驗深度神經(jīng)網(wǎng)絡(luò)的泛化需要數(shù)量荒謬的示例（可能數(shù)萬億或更多），即使我們發(fā)現(xiàn)，在我們關(guān)心的任務(wù)上，深度神經(jīng)網(wǎng)絡(luò)通常可以很好地泛化遠(yuǎn)更少的例子（千）。因此，深度學(xué)習(xí)從業(yè)者通常完全放棄先驗保證，而是在過去對類似問題進(jìn)行了很好泛化的基礎(chǔ)上采用方法，并證明泛化事后 通過實證評估。當(dāng)我們到達(dá) 第 5 節(jié)時，我們將重新審視泛化，并簡要介紹大量科學(xué)文獻(xiàn)，這些文獻(xiàn)如雨后春筍般涌現(xiàn)，試圖解釋為什么深度神經(jīng)網(wǎng)絡(luò)在實踐中泛化。