神經(jīng)網(wǎng)絡(luò)的基本思想是模擬計算機“大腦”中的多個互連細胞，使它能夠從環(huán)境中學(xué)習(xí)，識別不同的模式，通俗一點來說就是模仿人類的思維模式進行決策。

一個基本神經(jīng)網(wǎng)絡(luò)包含數(shù)百萬個被稱為單元的人工神經(jīng)元。這些單元分層排列，每一層都互相連接。

單元劃分為如下幾部分：

輸入單元——用于接受外部環(huán)境的信息。

隱藏單元——最終輸入到輸出單元。每個隱藏單元都是其輸入的壓縮線性函數(shù)。

輸出單元——這些信號表示網(wǎng)絡(luò)應(yīng)如何響應(yīng)最近獲取的信息。

大多數(shù)神經(jīng)網(wǎng)絡(luò)都是互相連接的，這意味著每個隱藏單元和每個輸出單元都連接到層另一邊的每個單元上。每個單元之間的連接稱為“重量”。重量可以是正的，也可以是負的，這取決于它對另一單元的影響程度。較高的權(quán)重對互連單元具有更高的權(quán)限。

當(dāng)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練時，或者在訓(xùn)練之后剛開始運行時，使用不同的輸入單元將不同的信息模式饋送到網(wǎng)絡(luò)中。這些信息將觸發(fā)隱藏組的層，然后到達輸出單元。這被稱為前饋網(wǎng)絡(luò)，是常用的設(shè)計之一。

當(dāng)您使用訓(xùn)練模型對神經(jīng)網(wǎng)絡(luò)進行了充分訓(xùn)練后，它會達到一個階段，在該階段會呈現(xiàn)一組全新的輸入，這些輸入在訓(xùn)練階段沒有遇到，且它可以預(yù)測出令人滿意的輸出。

以下是當(dāng)今神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的一些重要趨勢。

膠囊網(wǎng)絡(luò)（Capsule Networks）

膠囊網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)的一種新興形式。它模仿人類大腦的方式處理信息。這意味著膠囊網(wǎng)絡(luò)可以維持層次關(guān)系。

這與卷積神經(jīng)網(wǎng)絡(luò)形成對比。盡管卷積神經(jīng)網(wǎng)絡(luò)是迄今為止使用最廣泛的神經(jīng)網(wǎng)絡(luò)之一，但它們沒有考慮簡單及復(fù)雜對象之間存在的關(guān)鍵空間層次結(jié)構(gòu)，這導(dǎo)致了高錯誤率。

在進行簡單的識別任務(wù)時，膠囊網(wǎng)絡(luò)能夠降低錯誤率，實現(xiàn)了更高的準確度，同時它們也不需要大量的培訓(xùn)模型數(shù)據(jù)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)已存在很多年，是一種前饋神經(jīng)網(wǎng)絡(luò)。它啟發(fā)于生物的發(fā)展過程，特別是人類大腦對眼睛里接收到的信號的理解過程。目前，現(xiàn)有技術(shù)的視覺識別系統(tǒng)使用CNN算法來執(zhí)行圖像分類，定位和對象檢測。

隨著社會發(fā)展，人們對卷積神經(jīng)網(wǎng)絡(luò)的興趣也發(fā)生了轉(zhuǎn)移，目前它被廣泛應(yīng)用于智能監(jiān)控系統(tǒng)、社交網(wǎng)絡(luò)圖片標記和圖像分類、機器人、無人機和自動駕駛汽車。谷歌，亞馬遜，F(xiàn)acebook等數(shù)據(jù)科學(xué)家使用它來進行各種圖像過濾和分類。

與卷積神經(jīng)網(wǎng)絡(luò)密切相關(guān)的領(lǐng)域是計算機視覺的深度學(xué)習(xí)，兩個常見的應(yīng)用：條形碼掃描儀、面目識別。為了深入學(xué)習(xí)計算機視覺，市場上也相繼出現(xiàn)了大量的平臺，例如Google的Vision API，Allegro.ai，Missinglink.ai等。

深度強化學(xué)習(xí)（DRL）

深度強化學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種形式，深度強化學(xué)習(xí)將深度學(xué)習(xí)的感知能力和強化學(xué)習(xí)的決策能力相結(jié)合，可以直接根據(jù)輸入的圖像進行控制，是一種更接近人類思維方式的人工智能方法。一個著名的成功應(yīng)用案例就是AlphaGo圍棋機器人，AlphaGo是第一個擊敗人類職業(yè)圍棋選手、第一個戰(zhàn)勝圍棋世界冠軍的人工智能機器人。

DRL是開發(fā)業(yè)務(wù)應(yīng)用程序中的通用技術(shù)之一。對于訓(xùn)練模型，它需要更少的數(shù)據(jù)。且它的另一個優(yōu)點是可以通過模擬來訓(xùn)練它，這完全消除了對標記數(shù)據(jù)的需求。

精益學(xué)習(xí)

到目前為止，機器學(xué)習(xí)，特別是深度學(xué)習(xí)最大的障礙就是用于訓(xùn)練神經(jīng)模型的大量標記數(shù)據(jù)的可用性問題。這兩種技術(shù)可以幫助解決這個問題——合成新數(shù)據(jù)并將任務(wù)A和訓(xùn)練模型轉(zhuǎn)移到任務(wù)B。

像轉(zhuǎn)移學(xué)習(xí)（將學(xué)習(xí)從一個任務(wù)轉(zhuǎn)移到另一個任務(wù)）或單次學(xué)習(xí)（在只有一個或沒有相關(guān)示例的情況下進行學(xué)習(xí)）這樣的技術(shù)使它們成為精益數(shù)據(jù)學(xué)習(xí)技術(shù)。同樣，當(dāng)使用插值或模擬來合成新數(shù)據(jù)時，它有助于獲得更多訓(xùn)練數(shù)據(jù)。ML專家通常將此稱為增加現(xiàn)有數(shù)據(jù)來改進學(xué)習(xí)的方法。

此類技術(shù)可用于解決更廣泛的問題，尤其是較少歷史數(shù)據(jù)的情況下。

監(jiān)督模型

監(jiān)督模型是一種學(xué)習(xí)形式，其從先前標記的訓(xùn)練數(shù)據(jù)推斷出特定功能。它使用監(jiān)督學(xué)習(xí)算法，該算法包含一組帶有相應(yīng)標記正確輸出的輸入。

標記的輸入和標記的輸出進行比較。鑒于兩者之間的差異，您可以計算錯誤值，然后使用算法來學(xué)習(xí)輸入和輸出之間的映射。

這里的最終目標是近似映射函數(shù)，如果接收到新的輸入數(shù)據(jù)，則可以預(yù)測準確的輸出數(shù)據(jù)。類似于教師監(jiān)督學(xué)習(xí)過程，當(dāng)算法達到令人滿意的性能或準確度時，學(xué)習(xí)過程停止。

具有內(nèi)存模型的網(wǎng)絡(luò)

人類和機器的一個重要的區(qū)別就是謹慎工作和思考的能力。毫無疑問，計算機可以預(yù)先編程，以極高的精度完成特定的任務(wù)。但是，如果您將計算機放于不同的環(huán)境中工作，相應(yīng)的問題就會出現(xiàn)。

想要提升機器對環(huán)境的適應(yīng)能力，神經(jīng)網(wǎng)絡(luò)必須能夠在不遺忘的情況下連續(xù)學(xué)習(xí)任務(wù)。神經(jīng)網(wǎng)絡(luò)必須能夠利用許多不同的強大架構(gòu)來克服災(zāi)難性遺忘。包括：

長期內(nèi)存網(wǎng)絡(luò)：可以處理和預(yù)測時間序列

彈性權(quán)重合并算法，可以根據(jù)先前完成的任務(wù)定義的優(yōu)先級減慢學(xué)習(xí)速度

不受災(zāi)難性遺忘影響的漸進式神經(jīng)網(wǎng)絡(luò)能夠從已經(jīng)學(xué)過的網(wǎng)絡(luò)中提取有用的特征，以用于新的任務(wù)。

混合學(xué)習(xí)模型

各種類型的深度神經(jīng)網(wǎng)絡(luò)，包括GAN和DRL，在涉及其性能和不同類型數(shù)據(jù)的廣泛應(yīng)用方面已表現(xiàn)出很不錯的發(fā)展前景。也就是說，深度學(xué)習(xí)模型無法以貝葉斯或概率方法的方式對不確定性進行建模。

混合學(xué)習(xí)模型可以將這兩種方法結(jié)合并利用每種方法的強度。這種混合模型的一些示例包括貝葉斯GAN和貝葉斯條件GAN。

混合學(xué)習(xí)模型可對解決業(yè)務(wù)問題的領(lǐng)域進行擴展，包括不確定性的深度學(xué)習(xí)。這將提高性能和模型的可解釋性，獲得更廣泛的應(yīng)用。