深度學習是機器學習的一個分支，它除了可以學習特征和任務之間的關聯(lián)以外，還能自動從簡單特征中提取更加復雜的特征。2012年以后，深度學習（DeepLearning，DL）的熱度呈指數(shù)上升，深度學習最具代表性的一類方法是深度神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡試圖模擬大腦神經(jīng)元層的活動，以學習如何識別數(shù)據(jù)中的復雜模式。深度學習的前身為人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，ANN），ANN的歷史可以追溯到上世紀50年代。目前深度學習最最成熟的技術本質上依然是人工神經(jīng)網(wǎng)絡。

1958年Rosenblatt發(fā)明了感知器（Perceptron）算法。該算法使用MCP模型（MCP是作者名字的縮寫）對輸入的多維數(shù)據(jù)進行二分類，且能夠使用梯度下降法從訓練樣本中自動學習更新權值。1962年，該方法被證明能夠收斂，理論與實踐效果引起第一次神經(jīng)網(wǎng)絡的研究浪潮。1969年，美國數(shù)學家及人工智能先驅Minsky在其著作中證明感知器本質上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR（亦或）問題都無法正確分類，這間接宣判了感知器的死刑，神經(jīng)網(wǎng)絡的研究因此陷入了近20年的停滯。

直到上世紀80年代，Hinton在1986年發(fā)明了適用于多層感知器（Multi-layersperceptron）的反向傳播算法，并采用Sigmoid函數(shù)進行非線性映射，有效解決了非線性分類和學習的問題，該方法引起了神經(jīng)網(wǎng)絡的第二次熱潮。YanLecun等人于1998年發(fā)明了深度卷積神經(jīng)網(wǎng)絡LeNet-5，該網(wǎng)絡引入了卷積層，下采樣層和全連接層，是現(xiàn)在大部分深度卷積神經(jīng)網(wǎng)絡的雛形，LeNet-5成功地運用到手寫數(shù)字（MNIST）識別任務。然而由于神經(jīng)網(wǎng)絡一直缺少相應的嚴格的數(shù)學理論支持，神經(jīng)網(wǎng)絡的研究進入第二次低潮期。隨后決策樹方法、SVM、樸素貝葉斯等統(tǒng)計學方法成為機器學習研究的主流。

2006年，Hinton等人在其研究中提出了深度學習的概念，之后在眾多研究者努力下，隨機梯度下降法（StochasticGradientDescent，SGD），Dropout等網(wǎng)絡優(yōu)化策略被相繼提出，尤其是GPU并行計算技術解決了深度網(wǎng)絡參數(shù)多優(yōu)化時間長的難題后，全世界范圍內(nèi)掀起了研究深度學習的熱潮并持續(xù)至今。10多年來，許多經(jīng)典的深度學習架構被提出，如典型的深度卷積神經(jīng)網(wǎng)絡架構AlexNet，循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetworks，RNN）、長短期記憶網(wǎng)絡（LongShort-TermMemory，LSTM）、生成式對抗網(wǎng)絡（GenerativeAdversarialNetwork，GAN）等。

責任編輯人：CC