人工智能（Artificial Intelligence，AI）主要研究人類思

　　維、行動(dòng)中那些尚未算法化的功能行為， 使機(jī)器像人的大

　　腦一樣思考、行動(dòng)。長(zhǎng)期以來， 圍棋作為一種智力博弈游

　　戲， 以其變化莫測(cè)的博弈局面， 高度體現(xiàn)了人類的智慧， 為

　　人工智能研究提供了一個(gè)很好的測(cè)試平臺(tái)， 圍棋人工智能

　　也是人工智能領(lǐng)域的一個(gè)重要挑戰(zhàn)。

　　傳統(tǒng)的計(jì)算機(jī)下棋程序的基本原理， 是通過有限步數(shù)

　　的搜索樹， 即采用數(shù)學(xué)和邏輯推理方法， 把每一種可能的

　　路徑都走一遍， 從中選舉出最優(yōu)路徑， 使得棋局勝算最大。

　　這種下棋思路是充分發(fā)揮計(jì)算機(jī)運(yùn)算速度快、運(yùn)算量大等

　　優(yōu)勢(shì)的“暴力搜索法”， 是人類在對(duì)弈規(guī)定的時(shí)間限制內(nèi)無

　　法做到的。但是由于圍棋局面數(shù)量太大， 這樣的運(yùn)算量對(duì)

　　于計(jì)算機(jī)來講也是相當(dāng)之大， 目前的計(jì)算機(jī)硬件無法在對(duì)

　　弈規(guī)定的時(shí)間內(nèi)， 使用計(jì)算機(jī)占絕對(duì)優(yōu)勢(shì)的“暴力搜索法”

　　完成圍棋所有局面的擇優(yōu)， 所以這樣的下棋思路不適用于

　　圍棋對(duì)弈。

　　搜索量巨大的問題一直困擾著圍棋人工智能， 使其發(fā)

　　展停滯不前，直到2 0 0 6 年， 蒙特卡羅樹搜索的應(yīng)用出現(xiàn)，

　　才使得圍棋人工智能進(jìn)入了嶄新的階段， 現(xiàn)代圍棋人工智

　　能的主要算法是基于蒙特卡洛樹的優(yōu)化搜索。

　　2 圍棋人工智能基本原理

　　目前圍棋人工智能最杰出的代表， 是由谷歌旗下人工

　　智能公司DeepMind創(chuàng)造的AlphaGo圍棋人工智能系統(tǒng)。它

　　在與人類頂級(jí)圍棋棋手的對(duì)弈中充分發(fā)揮了其搜索和計(jì)

　　算的優(yōu)勢(shì)， 幾乎在圍棋界立于不敗之地。

　　Alph a G o系統(tǒng)的基本原理是將深度強(qiáng)化學(xué)習(xí)方法與蒙

　　特卡洛樹搜索結(jié)合， 使用有監(jiān)督學(xué)習(xí)策略網(wǎng)絡(luò)和價(jià)值網(wǎng)

　　絡(luò)， 極大減少了搜索空間， 即在搜索過程中的計(jì)算量， 提高

　　了對(duì)棋局估計(jì)的準(zhǔn)確度。

　　2.1 深度強(qiáng)化學(xué)習(xí)方法

　　深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究， 人類大量的視覺

　　聽覺信號(hào)的感知處理都是下意識(shí)的， 是基于大腦皮層神經(jīng)

　　網(wǎng)絡(luò)的學(xué)習(xí)方法， 通過模擬大腦皮層推斷分析數(shù)據(jù)的復(fù)雜

　　層狀網(wǎng)絡(luò)結(jié)構(gòu)， 使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)

　　成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象， 其過程類似于人們

　　識(shí)別物體標(biāo)注圖片?，F(xiàn)如今， 應(yīng)用最廣泛的深度學(xué)習(xí)模型

　　包括： 卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、堆棧自編碼網(wǎng)絡(luò)和遞

　　歸神經(jīng)網(wǎng)絡(luò)等。

　　強(qiáng)化學(xué)習(xí)源于動(dòng)物學(xué)習(xí)、參數(shù)擾動(dòng)自適應(yīng)控制等理

　　論， 通過模擬生物對(duì)環(huán)境以試錯(cuò)的方式進(jìn)行交互達(dá)到對(duì)環(huán)

　　境的最優(yōu)適應(yīng)的方式， 通過不斷地反復(fù)試驗(yàn)， 將變化無常

　　的動(dòng)態(tài)情況與對(duì)應(yīng)動(dòng)作相匹配。強(qiáng)化學(xué)習(xí)系統(tǒng)設(shè)置狀態(tài)、

　　動(dòng)作、狀態(tài)轉(zhuǎn)移概率和獎(jiǎng)賞四個(gè)部分， 在當(dāng)前狀態(tài)下根據(jù)

　　策略選擇動(dòng)作， 執(zhí)行該過程并以當(dāng)前轉(zhuǎn)移概率轉(zhuǎn)移到下一

　　狀態(tài)， 同時(shí)接收環(huán)境反饋回來的獎(jiǎng)賞， 最終通過調(diào)整策略

　　來最大化累積獎(jiǎng)賞。

　　深度學(xué)習(xí)具有較強(qiáng)的感知能力， 但缺乏一定的決策能

　　力； 強(qiáng)化學(xué)習(xí)具有決策能力， 同樣對(duì)感知問題無能為力。深

　　度強(qiáng)化學(xué)習(xí)方法是將具有感知能力的深度學(xué)習(xí)和具有決

　　策能力的強(qiáng)化學(xué)習(xí)結(jié)合起來， 優(yōu)勢(shì)互補(bǔ)， 用深度學(xué)習(xí)進(jìn)行

　　感知， 從環(huán)境中獲取目標(biāo)觀測(cè)信息， 提供當(dāng)前環(huán)境下的狀

　　態(tài)信息； 然后用強(qiáng)化學(xué)習(xí)進(jìn)行決策， 將當(dāng)前狀態(tài)映射到相

　　應(yīng)動(dòng)作， 基于初期匯報(bào)評(píng)判動(dòng)作價(jià)值。

　　深度強(qiáng)化學(xué)習(xí)為復(fù)雜系統(tǒng)的感知決策問題提供了一

　　種全新的解決思路。

　　2.2 蒙特卡洛樹搜索

　　蒙特卡洛樹搜索是將蒙特卡洛方法與樹搜索相結(jié)合

　　形成的一種搜索方法。所謂蒙特卡洛方法是一種以概率統(tǒng)

　　計(jì)理論為指導(dǎo)的強(qiáng)化學(xué)習(xí)方法， 它通常解決某些隨機(jī)事件

　　出現(xiàn)的概率問題， 或者是某隨機(jī)變量的期望值等數(shù)字特征

　　問題。通過與環(huán)境的交互， 從所采集的樣本中學(xué)習(xí)， 獲得關(guān)

　　于決策過程的狀態(tài)、動(dòng)作和獎(jiǎng)賞的大量數(shù)據(jù)， 最后計(jì)算出

　　累積獎(jiǎng)賞的平均值。

　　蒙特卡洛樹搜索算法是一種用于解決完美信息博弈

　　（perfect information games，沒有任何信息被隱藏的游戲）

　　的方法，主要包含選擇（Selection）、擴(kuò)展（Expansion）、模擬