百度稱(chēng)得上是國(guó)內(nèi)應(yīng)用深度學(xué)習(xí)的先鋒，早在2012年初，百度就在語(yǔ)音識(shí)別上開(kāi)始規(guī)模應(yīng)用深度學(xué)習(xí)算法并取得了非常好的效果。當(dāng)年年底，百度CEO李彥宏宣布成立公司的第一個(gè)研究院：百度深度學(xué)習(xí)研究院。當(dāng)時(shí)，世界上只有谷歌、微軟等少數(shù)幾個(gè)公司公開(kāi)宣布在深度學(xué)習(xí)、人工智能領(lǐng)域進(jìn)行戰(zhàn)略性的資金投入。

經(jīng)過(guò)四年的發(fā)展，百度深度學(xué)習(xí)技術(shù)已經(jīng)滲透到百度的各個(gè)產(chǎn)品中，如網(wǎng)頁(yè)搜索、廣告點(diǎn)擊率預(yù)估模型、百度殺毒等。深度學(xué)習(xí)技術(shù)極大地提高了百度產(chǎn)品的用戶(hù)體驗(yàn)。例如百度的語(yǔ)音識(shí)別，經(jīng)過(guò)四年的磨練，其識(shí)別準(zhǔn)確率從當(dāng)初的80%提高到今天的96%。

除了率先在各個(gè)產(chǎn)品線引入前沿的深度學(xué)習(xí)算法外，百度在人工智能應(yīng)用方面還有更長(zhǎng)遠(yuǎn)的布局：

1. 建立百度研究院，下設(shè)硅谷人工智能實(shí)驗(yàn)室、北京深度學(xué)習(xí)實(shí)驗(yàn)室、北京大數(shù)據(jù)實(shí)驗(yàn)室等三大前沿實(shí)驗(yàn)室。

2. 2014年，人工智能領(lǐng)域最負(fù)盛名的權(quán)威學(xué)者吳恩達(dá)加入百度。

3. 同年，在百度技術(shù)開(kāi)放日發(fā)布了大數(shù)據(jù)引擎，對(duì)外開(kāi)放大數(shù)據(jù)及人工智能能力。

4. 在百度技術(shù)節(jié)上，百度高級(jí)副總裁王勁描繪了“萬(wàn)物智能”的愿景，展示了百度為迎接萬(wàn)物智能時(shí)代所做的技術(shù)布局。

5. 2015年在百度世界大會(huì)上推出了“度秘”。度秘是萬(wàn)物皆智能的一個(gè)集中體現(xiàn)，可成為人們生活中的智能秘書(shū)，通過(guò)語(yǔ)音對(duì)話或者圖像可以自然地和人進(jìn)行交流，甚至都不需要事先的交互，僅憑借歷史信息、傳感器信息、周?chē)h(huán)境變化就能判斷一個(gè)人的需求。如果你餓了，它可以幫你訂餐；你生病了，可以告訴你吃什么藥；如果明天下雨，會(huì)提醒你帶上傘；若你需要出行，會(huì)幫你訂好酒店、機(jī)票等等。不過(guò)，這些看似平常的“秘書(shū)”服務(wù)，如果要真正達(dá)到好用的狀態(tài)，還需要有非常先進(jìn)的人工智能技術(shù)做支撐。

人工智能對(duì)計(jì)算機(jī)系統(tǒng)及體系結(jié)構(gòu)的挑戰(zhàn)：

人工智能的應(yīng)用包括云（數(shù)據(jù)中心）和端（智能設(shè)備）兩部分。云端除了訓(xùn)練（離線訓(xùn)練），還有在線服務(wù)。訓(xùn)練是指利用訓(xùn)練數(shù)據(jù)，選擇合適的訓(xùn)練方法，訓(xùn)練出一個(gè)模型。在線服務(wù)是指利用訓(xùn)練出來(lái)的模型在線響應(yīng)用戶(hù)的請(qǐng)求。端部分也是人工智能的一個(gè)強(qiáng)需求，按照“萬(wàn)物智能”的愿望，很多終端設(shè)備，如智能輔助駕駛、無(wú)人車(chē)、智能攝像頭、工業(yè)物聯(lián)網(wǎng)（Internet of Things，IoT）等等，都能運(yùn)行人工智能的算法，智能地響應(yīng)外部請(qǐng)求。

深度學(xué)習(xí)的離線訓(xùn)練是工業(yè)界和學(xué)術(shù)界研究最多、關(guān)注最多的領(lǐng)域。自深度學(xué)習(xí)熱潮席卷而來(lái)，無(wú)論是學(xué)術(shù)界還是工業(yè)界，涌現(xiàn)了很多新的、面向深度學(xué)習(xí)算法和應(yīng)用設(shè)計(jì)的系統(tǒng)，如谷歌提出的參數(shù)服務(wù)器（parameter server），其他人通過(guò)借鑒這一思想，根據(jù)不同的應(yīng)用場(chǎng)景，設(shè)計(jì)了各種不同的系統(tǒng)。

在體系結(jié)構(gòu)方面，深度學(xué)習(xí)訓(xùn)練大多是基于圖形處理單元（GPU）及無(wú)限帶寬（infiniband）的高速互聯(lián)網(wǎng)絡(luò)。使用圖形處理單元來(lái)做大規(guī)模的矩陣計(jì)算，再用無(wú)線帶寬高速網(wǎng)絡(luò)進(jìn)行分布式參數(shù)更新。這種架構(gòu)在工業(yè)界應(yīng)用非常普遍，很多專(zhuān)有的服務(wù)器里通常帶有8個(gè)圖形處理單元，服務(wù)器之間則通過(guò)無(wú)線帶寬互聯(lián)。很多論文都在研究如何利用服務(wù)器內(nèi)8個(gè)圖形處理單元的局部性、無(wú)限帶寬的遠(yuǎn)程直接數(shù)據(jù)存?。≧emote Direct Memory Acces，RDMA）以及圖形處理單元的計(jì)算能力來(lái)完成完整的分布式深度學(xué)習(xí)訓(xùn)練任務(wù)。圖形處理單元加無(wú)限帶寬的硬件架構(gòu)目前比較適用于深度學(xué)習(xí)的訓(xùn)練以及工業(yè)界的規(guī)模應(yīng)用。這是因?yàn)檫@兩種硬件的性能都不錯(cuò)，而供應(yīng)商眾多，容易獲得產(chǎn)品及技術(shù)支持。

在線服務(wù)方面，無(wú)論是工業(yè)界還是學(xué)術(shù)界，公開(kāi)的信息都比較少。能有機(jī)會(huì)進(jìn)行大規(guī)模部署人工智能服務(wù)的，只有像百度這樣技術(shù)驅(qū)動(dòng)的大型互聯(lián)網(wǎng)公司，而這些公司一般出于保密考慮，會(huì)延后發(fā)布自己的核心技術(shù)。至于人工智能的終端設(shè)備，雖然媒體一直在勾畫(huà)這個(gè)領(lǐng)域的宏偉藍(lán)圖，但實(shí)際上能成功進(jìn)行規(guī)模應(yīng)用的并不多，所以工業(yè)界和學(xué)術(shù)界對(duì)這部分內(nèi)容公開(kāi)得也比較少。

其實(shí)，無(wú)論是離線訓(xùn)練、在線服務(wù)還是智能設(shè)備，內(nèi)部運(yùn)行的都是一些常用的深度學(xué)習(xí)算法，如深層神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）、遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）/長(zhǎng)短時(shí)神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory，LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。這些算法存在一些共性，比如（1）都是計(jì)算和訪存密集型；（2）主要的計(jì)算算子是矩陣操作、卷積、激活函數(shù)等；（3）對(duì)于離線訓(xùn)練，考慮到分布式實(shí)現(xiàn)，對(duì)節(jié)點(diǎn)間的通信帶寬和延時(shí)要求很高。

從大規(guī)模部署應(yīng)用的角度看，無(wú)論是哪種類(lèi)型的應(yīng)用，衡量體系結(jié)構(gòu)好壞的最終標(biāo)準(zhǔn)是效率，包括能耗效率和成本效率。只有這兩個(gè)效率足夠高，體系結(jié)構(gòu)才有生命力。例如對(duì)于嵌入式終端，往往需要考慮極致的能耗效率和成本效率，有時(shí)候甚至需要對(duì)算法做些剪枝和模型規(guī)模限制。對(duì)于數(shù)據(jù)中心而言，成本和功耗也是規(guī)模部署要考慮的第一要素。

如今，人們一提到深度學(xué)習(xí)的硬件架構(gòu)，首先就會(huì)想到圖形處理單元。這主要是因?yàn)?，在便于采?gòu)的硬件里，圖形處理單元確實(shí)能提供較好的數(shù)學(xué)計(jì)算能力和訪存帶寬。但對(duì)于能耗和成本效率，即使應(yīng)用在數(shù)據(jù)中心，圖形處理單元離我們的目標(biāo)也還有很大的改進(jìn)空間。所以我們需要重新思考，如何面向人工智能的典型應(yīng)用和算法，設(shè)計(jì)一種新的、通用的體系結(jié)構(gòu)。這種體系結(jié)構(gòu)既能實(shí)現(xiàn)極致的能耗和成本效率，也能靈活延伸擴(kuò)展，易于支持離線訓(xùn)練、在線服務(wù)和智能終端三種場(chǎng)景。
責(zé)任編輯：tzh