神經(jīng)網(wǎng)絡(luò)中的遺忘

兩種遺忘方式的對比

查找記憶的刪除是一條一條的刪，而網(wǎng)絡(luò)記憶的刪除是斷開連接。

學(xué)習(xí)中的遺忘

學(xué)習(xí)的過程是尋找符合所有情況的規(guī)律的過程

在這個過程中，有時候我們的大腦會斷開連接，有時候又會重塑連接

假設(shè)猜想：如果我們的大腦不會斷開連接，那么我們便會，只知道解決學(xué)習(xí)時已見過的情況，而不會解決未見過的情況。這樣的“學(xué)習(xí)”只能是記憶，記憶所有信息，卻不能找到共同的規(guī)律。（網(wǎng)絡(luò)的過擬合）

案例驗證：比如現(xiàn)實生活中的雨人，他看完了一本書記住了里面的所有內(nèi)容，但他日常生活能力低下，四歲才會走路，現(xiàn)在都還不會系扣子，智力測試也只有87分。

學(xué)習(xí)后的遺忘

為什么已經(jīng)被記住的內(nèi)容還是會遺忘？

生存困難：尋找到普遍性的規(guī)律的生物，有大概率能存活，而只尋找到局部規(guī)律的生物，存活的概率變便很小。

演化結(jié)果：所以，大腦演化出一種該規(guī)律多次出現(xiàn)就強化該連接，出現(xiàn)次數(shù)少便弱化該連接的機制。這并不是為了忘記痛苦的記憶，或者節(jié)省能量，而是為了抑制局部規(guī)律形成的過擬合。

“ 你忘記所有的招式，就練成太極拳了”

原文：“太極拳只重其義，不重其招。你忘記所有的招式，就練成太極拳了?！?/p>

解釋：“忘記”并非字面意思，而是意為不要僅記住個別招式，而失去了應(yīng)對無限情況的能力。這里的招式是“已知”，“情況”是指任何情況，包括已知，也包括未知。由于人腦的長期記憶也不是查找記憶，并不會去記憶每個情況，所以練太極拳的過程并不是記憶的過程，而是學(xué)習(xí)的過程。讓大腦的神經(jīng)網(wǎng)絡(luò)從這些有限的招式中泛化出普遍規(guī)律，便可自動應(yīng)對無限情況。

翻譯：”情況無限，招式有限，需泛化有限招式，來應(yīng)對無限情況?！?/p>

總結(jié)

學(xué)習(xí)中的遺忘：由于尋找規(guī)律（學(xué)習(xí)）的過程中需要不斷的斷開連接，重塑連接（不斷調(diào)整權(quán)重，構(gòu)建模型）

學(xué)習(xí)后的遺忘：為了提高泛化能力，防止模型的過擬合，根據(jù)連接的使用頻率，強化或弱化該連接的一種模型篩選機制。