概要：近年來(lái)，深度學(xué)習(xí)在人工智能領(lǐng)域一系列困難問(wèn)題上取得了突破性成功應(yīng)用。

模型驅(qū)動(dòng)的深度學(xué)習(xí)方法

近年來(lái)，深度學(xué)習(xí)在人工智能領(lǐng)域一系列困難問(wèn)題上取得了突破性成功應(yīng)用。例如用于人臉識(shí)別已高于人的正確識(shí)別率、用于語(yǔ)音識(shí)別與機(jī)器翻譯已接近達(dá)到同聲翻譯和‵講完稿出＇的水平、用于圍棋競(jìng)賽已達(dá)到完勝人類(lèi)世界冠軍的水平、用于一些疾病的診斷巳能與中、高級(jí)專(zhuān)業(yè)醫(yī)師水平匹敵?，F(xiàn)在，深度學(xué)習(xí)技術(shù)在信息科學(xué)各領(lǐng)域已無(wú)處不在、并正成為各自領(lǐng)域的標(biāo)準(zhǔn)方法。

盡管深度學(xué)習(xí)取得重大進(jìn)展，但人們對(duì)人工神經(jīng)網(wǎng)絡(luò)拓?fù)渑c性能的對(duì)應(yīng)關(guān)系仍然缺少理論上的認(rèn)知，網(wǎng)絡(luò)拓?fù)溥x擇目前還是一項(xiàng)工程技術(shù)而并沒(méi)有成為科學(xué)。這直接導(dǎo)致了現(xiàn)有深度學(xué)習(xí)多半是缺少理論基礎(chǔ)的啟發(fā)式方法。設(shè)計(jì)難、解釋難、結(jié)果不可預(yù)知已成為深度學(xué)習(xí)公認(rèn)的缺撼。

《國(guó)家科學(xué)評(píng)論》最近發(fā)表了西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院徐宗本院士、孫劍教授撰寫(xiě)的“Model-driven deep learning”的觀點(diǎn)文章（National Science Review, 2017,https://doi.org/10.1093/nsr/nwx099）。這篇文章嘗試解決深度學(xué)習(xí)的網(wǎng)絡(luò)拓?fù)溥x擇問(wèn)題，目的是實(shí)現(xiàn)可設(shè)計(jì)、可解釋以及結(jié)果可預(yù)期的深度學(xué)習(xí)方法。文章提出一種模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合深度學(xué)習(xí)方法。眾所周知，深度學(xué)習(xí)是一種標(biāo)準(zhǔn)的數(shù)據(jù)驅(qū)動(dòng)型方法，它將深度網(wǎng)絡(luò)作為黑箱依賴(lài)于大量數(shù)據(jù)解決現(xiàn)實(shí)問(wèn)題；而模型驅(qū)動(dòng)方法則是從目標(biāo)、機(jī)理、先驗(yàn)出發(fā)首先形成學(xué)習(xí)的一個(gè)代價(jià)函數(shù)，然后通過(guò)極小化代價(jià)函數(shù)來(lái)解決問(wèn)題。模型驅(qū)動(dòng)方法的最大優(yōu)點(diǎn)是只要模型足夠精確，解的質(zhì)量可預(yù)期甚至能達(dá)到最優(yōu)，而且求解方法是確定的，但模型驅(qū)動(dòng)方法的缺陷是在應(yīng)用中難能精確建模，而且對(duì)建模的精確性追求通常只能是一種奢望。

模型驅(qū)動(dòng)深度學(xué)習(xí)方法有效結(jié)合了模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)方法的優(yōu)勢(shì)，文章中給出了模型驅(qū)動(dòng)深度學(xué)習(xí)的標(biāo)準(zhǔn)流程:(1)根據(jù)問(wèn)題，建立模型族(Family of Models);(2)根據(jù)模型族，設(shè)計(jì)算法族(Family of Algorithms)并建立算法族的收斂性理論;(3)將算法族展開(kāi)(unfold)成深度網(wǎng)絡(luò)并實(shí)施深度學(xué)習(xí)。文中還介紹了課題組研究并實(shí)踐的一系列模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的深度等習(xí)方法，展現(xiàn)了該方法在解決實(shí)際問(wèn)題上的有效性。