1

引言

人工智能從誕生之始就以對(duì)抗人類智能為衡量準(zhǔn)則(著名的圖靈測(cè)試)。作為人工智能研究的前沿方向，人機(jī)對(duì)抗技術(shù)一直是國(guó)內(nèi)外人工智能研究的熱點(diǎn),以人機(jī)對(duì)抗為主要形式的人工智能研究為探尋機(jī)器智能的內(nèi)在生長(zhǎng)機(jī)制和關(guān)鍵技術(shù)原理提供了一個(gè)極佳的試驗(yàn)環(huán)境和驗(yàn)證途徑.整個(gè)過程不僅能夠讓機(jī)器更加智能地為人類服務(wù)、將人類從一些繁復(fù)復(fù)雜的任務(wù)中解脫出來, 而且人類也能夠借鑒機(jī)器智能的發(fā)展過程，提升自身的智能水平，更深刻地理解和掌握智能的內(nèi)在本質(zhì)和產(chǎn)生機(jī)理，進(jìn)而推動(dòng)整個(gè)社會(huì)由信息化向智能化發(fā)展。 2

發(fā)展歷史

從1936年人工智能之父阿蘭?圖靈提出著名的“圖靈測(cè)試”之后，人和機(jī)器之間進(jìn)行智能對(duì)抗就成為了衡量機(jī)器智能發(fā)展水平的最重要標(biāo)準(zhǔn)。從實(shí)現(xiàn)最初的簡(jiǎn)單智能到不斷進(jìn)化成更為復(fù)雜的智能，對(duì)抗貫穿于人工智能中計(jì)算、感知和認(rèn)知的3個(gè)階段(圖1)，從某種意義上講，就如人類與自然環(huán)境的對(duì)抗促進(jìn)了人類的進(jìn)化，機(jī)器與人的對(duì)抗也必將讓機(jī)器智能不斷發(fā)展進(jìn)化。

Figure 1 The development history of human-computer gaming 3

內(nèi)涵及機(jī)理

雖然人機(jī)對(duì)抗智能技術(shù)獲得極大的關(guān)注, 并在不同應(yīng)用領(lǐng)域展現(xiàn)出應(yīng)用前景, 但其理論及相關(guān)技術(shù)目前還沒有一個(gè)系統(tǒng)性的描述, 本文將從內(nèi)涵、機(jī)理對(duì)其進(jìn)行闡述并在此基礎(chǔ)上相關(guān)模型及關(guān)鍵技術(shù)。

3.1人機(jī)對(duì)抗內(nèi)涵

人機(jī)對(duì)抗是以機(jī)器和人類對(duì)抗為途徑，以博弈學(xué)習(xí)等為核心技術(shù)來實(shí)現(xiàn)機(jī)器智能快速學(xué)習(xí)進(jìn)化的研究方向。作為“圖靈測(cè)試”的重要手段，人機(jī)對(duì)抗是驗(yàn)證機(jī)器智能的“試金石”，為探尋機(jī)器智能的內(nèi)在生長(zhǎng)機(jī)制和關(guān)鍵技術(shù)的驗(yàn)證提供有效試驗(yàn)環(huán)境、評(píng)價(jià)標(biāo)準(zhǔn)，具有重要科學(xué)研究意義和應(yīng)用價(jià)值。

3.2人機(jī)對(duì)抗機(jī)理

人機(jī)對(duì)抗機(jī)理研究對(duì)抗各要素及其相互聯(lián)系，以及相互作用的運(yùn)行規(guī)律與原理，涉及的要素包括人(機(jī)器的對(duì)手)、機(jī)器(對(duì)抗的AI)和環(huán)境(對(duì)抗的規(guī)則和條件等的集合體)，根據(jù)人機(jī)物3要素分析方法, 3要素相互作用分別形成一元博弈、二元博弈和三元博弈。人機(jī)對(duì)抗智能的科學(xué)問題可概括為博弈學(xué)習(xí)的可建模、可計(jì)算與可解釋。4

人機(jī)對(duì)抗模型及關(guān)鍵技術(shù)

和感知智能有所不同，人機(jī)對(duì)抗通常關(guān)注更為復(fù)雜的時(shí)序決策等認(rèn)知智能，對(duì)其過程建模是一個(gè)高度復(fù)雜問題，因此認(rèn)知決策建模是整個(gè)人機(jī)對(duì)抗中的核心關(guān)鍵環(huán)節(jié)。本文將面向強(qiáng)對(duì)抗環(huán)境下的人機(jī)對(duì)抗決策流程歸納為感知、推理、決策和控制，將人機(jī)對(duì)抗關(guān)鍵技術(shù)歸納為對(duì)抗空間表示與建模、態(tài)勢(shì)評(píng)估與推理、策略生成與優(yōu)化、行動(dòng)協(xié)同與控制4部分；通過對(duì)抗態(tài)勢(shì)判讀理解、認(rèn)知預(yù)測(cè)、策略決策和行動(dòng)實(shí)施，局部整體不斷循環(huán)迭代增強(qiáng), 自主提升對(duì)抗能力。人機(jī)對(duì)抗涉及的關(guān)鍵技術(shù)如圖2所示。

Figure 2Process modeling and key technology of human-computer gaming

4.1對(duì)抗空間表示與建模

構(gòu)建有效的知識(shí)表示模型，準(zhǔn)確刻畫對(duì)抗空間的決策要素構(gòu)成、屬性特征及要素之間的交互關(guān)系，是實(shí)現(xiàn)人機(jī)對(duì)抗的基礎(chǔ)。巨復(fù)雜、高動(dòng)態(tài)、強(qiáng)對(duì)抗環(huán)境具有決策要素海量高維、要素影響高度耦合、決策關(guān)鍵信息不完全等特性，使得對(duì)抗空間的定量表示極富挑戰(zhàn)。這方面可開展的研究包括：（1）對(duì)抗空間要素實(shí)體–關(guān)系表示, 研究對(duì)抗空間中各類不同實(shí)體、實(shí)體屬性及其交互關(guān)聯(lián)關(guān)系, 構(gòu)建決策要素的表示模型； （2）對(duì)抗空間特征張量表示學(xué)習(xí), 分析實(shí)體屬性關(guān)系耦合和結(jié)構(gòu)拓?fù)鋵?duì)個(gè)體及群體對(duì)抗能力的影響, 構(gòu)建可解釋的對(duì)抗空間的高維張量描述； （3）層級(jí)化聚合演算規(guī)則建模, 融合經(jīng)驗(yàn)表示與數(shù)值計(jì)算, 定義多因素、層級(jí)化的對(duì)抗態(tài)勢(shì)和對(duì)抗能力聚合演算規(guī)則, 形成環(huán)境–我方–對(duì)手多元耦合的可計(jì)算表征體系； （4）基于異構(gòu)信息網(wǎng)絡(luò)的抽象通用空間表示, 基于能力演算規(guī)則, 研究對(duì)抗要素的抽象態(tài)勢(shì)表示, 減輕對(duì)抗場(chǎng)景依賴帶來的噪聲和數(shù)據(jù)稀疏影響。

4.2對(duì)抗態(tài)勢(shì)評(píng)估與推理

對(duì)抗態(tài)勢(shì)是指對(duì)抗各方通過實(shí)力對(duì)比、調(diào)配和行動(dòng)等形成的狀態(tài)和趨勢(shì)，態(tài)勢(shì)的評(píng)估與推理為后續(xù)對(duì)抗策略生成與優(yōu)化提供了依據(jù)。面臨著的挑戰(zhàn)有：（1）訓(xùn)練態(tài)勢(shì)認(rèn)知和預(yù)測(cè)模型的高水平對(duì)抗數(shù)據(jù)往往非常有限； （2）對(duì)手信息往往是凌亂的、不完全的, 僅依據(jù)對(duì)手部分信息進(jìn)行整體局勢(shì)評(píng)估準(zhǔn)確性較差； （3）復(fù)雜對(duì)抗環(huán)境導(dǎo)致可用于態(tài)勢(shì)評(píng)估的信息眾多，難以有效進(jìn)行融合以形成多角度層次化態(tài)勢(shì)?？砷_展的研究包括:（1）高質(zhì)量對(duì)抗數(shù)據(jù)的生成, 通過自主博弈或者生成式對(duì)抗網(wǎng)絡(luò)等方法生成用于人機(jī)對(duì)抗建模與分析的高質(zhì)量人機(jī)對(duì)抗數(shù)據(jù)； （2）小樣本學(xué)習(xí), 研究在數(shù)據(jù)較少情況下通過遷移或自適應(yīng)等方法實(shí)現(xiàn)對(duì)抗態(tài)勢(shì)的直接評(píng)估； （3）對(duì)方信息估計(jì), 研究結(jié)合歷史信息與當(dāng)前對(duì)抗環(huán)境實(shí)現(xiàn)從底層到高層的對(duì)手動(dòng)作估計(jì)、意圖識(shí)別與策略估計(jì)； （4）態(tài)勢(shì)層次化認(rèn)知, 研究結(jié)合多源異構(gòu)信息進(jìn)行態(tài)勢(shì)的多角度層次化評(píng)估與推理。

4.3對(duì)抗策略生成與優(yōu)化

對(duì)抗策略主要涉及多智能體協(xié)同的任務(wù)規(guī)劃，解決群體與單體的行動(dòng)規(guī)劃問題。其技術(shù)挑戰(zhàn)在于：（1）不完全信息使得對(duì)手位置、行為、企圖不能完全知道，對(duì)手行為概率模型未知導(dǎo)致策略選擇保守, 需要進(jìn)行不完全信息下博弈策略選擇； （2）宏觀決策收益反饋滯后，使得宏觀決策的效應(yīng)需要經(jīng)過較長(zhǎng)時(shí)間才能體現(xiàn), 導(dǎo)致決策行為與效益之間難以形成有效映射； （3）行動(dòng)能力與環(huán)境深度耦合,忽略了局部環(huán)境因素可能導(dǎo)致策略分析嚴(yán)重偏差，過度詳細(xì)分析又導(dǎo)致對(duì)抗空間難以約減。 針對(duì)策略生成和優(yōu)化方面的挑戰(zhàn)，利用策略游戲如星際爭(zhēng)霸作為平臺(tái)開展研究是國(guó)際上較為公認(rèn)的方式。可開展的研究包括：（1）宏觀策略生成，針對(duì)面向使命任務(wù)的全局博弈對(duì)抗問題，構(gòu)建分層任務(wù)分解與任務(wù)協(xié)同機(jī)制，實(shí)現(xiàn)復(fù)雜群體博弈對(duì)抗問題向低維空間約減； （2）微觀策略生成, 針對(duì)局部博弈對(duì)抗問題, 構(gòu)建微型群體局部策略自適應(yīng)機(jī)制, 實(shí)現(xiàn)微型群體的強(qiáng)博弈對(duì)抗能力與環(huán)境遷移能力； （3）策略優(yōu)化方法，針對(duì)策略能力需要自主提升的問題，構(gòu)建博弈策略的評(píng)價(jià)機(jī)制和學(xué)習(xí)型策略演進(jìn)機(jī)制，實(shí)現(xiàn)博弈策略的自主進(jìn)化與能力提升。

4.4對(duì)抗行動(dòng)協(xié)同與控制

策略的執(zhí)行需要多個(gè)智能體的行動(dòng)協(xié)同，各智能體在自身信息獲取與初步認(rèn)知的基礎(chǔ)上，利用資源貢獻(xiàn)、信息連通、要素融合、虛擬協(xié)作、智能輔助等功能，將多個(gè)單元虛擬協(xié)同, 形成整合的群體行動(dòng)協(xié)同與控制。多智能體協(xié)同的難點(diǎn)包括:多智能體的學(xué)習(xí)目標(biāo)，個(gè)體回報(bào)和團(tuán)隊(duì)回報(bào)的關(guān)系，學(xué)習(xí)過程中各智能體之間的作用和影響，聯(lián)合狀態(tài)和聯(lián)合動(dòng)作的獲取，擴(kuò)大的狀態(tài)空間和動(dòng)作空間導(dǎo)致的維數(shù)災(zāi)難等問題。 目前相關(guān)研究工作主要集中在多智能體協(xié)同與學(xué)習(xí)方面?？砷_展的研究包括：（1）從協(xié)同過程可分為序列策略表征、協(xié)同機(jī)制優(yōu)化、異構(gòu)多智能體協(xié)同以及多元協(xié)同的融合； （2）從協(xié)同任務(wù)類型可分為同任務(wù)合作智能協(xié)同、異任務(wù)資源協(xié)調(diào)等； （3）從理論上突破去中心化、通信中斷的默契型協(xié)作方法，任務(wù)涵蓋序列化任務(wù)、多層次任務(wù)、多領(lǐng)域任務(wù)等，實(shí)現(xiàn)場(chǎng)景類型全覆蓋，協(xié)同方式多元化，為訓(xùn)練提供高質(zhì)量協(xié)同策略。 5

應(yīng)用及挑戰(zhàn)

人機(jī)對(duì)抗智能技術(shù)的應(yīng)用領(lǐng)域涉及棋牌類游戲、即時(shí)策略游戲、兵棋推演等，在多個(gè)領(lǐng)域內(nèi)機(jī)器智能已經(jīng)達(dá)到并超過了該領(lǐng)域的人類頂級(jí)選手，不斷刷新博弈對(duì)抗記錄,顯示出了新一輪人工智能技術(shù)在認(rèn)知決策方面的鮮明特點(diǎn)。

5.1棋牌類策略游戲?qū)?/p>

棋牌類策略游戲一直以來都被用作測(cè)試計(jì)算機(jī)智能發(fā)展水平的參考標(biāo)準(zhǔn)。這些游戲由于簡(jiǎn)單的規(guī)則和豐富的玩法而深受全球范圍內(nèi)的廣大愛好者的喜愛。同樣由于其規(guī)則的確定性，加之游戲環(huán)境可控性和不完全信息等特性，吸引了人工智能領(lǐng)域的持續(xù)研究。

DeepMind公司提出的AlphaGo技術(shù)在圍棋人機(jī)對(duì)抗中獲勝

在1對(duì)1無限注德州撲克中， DeepStack成為了第1個(gè)擊敗職業(yè)選手的德州撲克AI程序； 卡內(nèi)基梅隆大學(xué)的研究者提出的名為L(zhǎng)ibratus的德州撲克AI算法，同樣擊敗了多名頂尖的職業(yè)德州撲克選手。

5.2即時(shí)策略游戲?qū)?/p>

即時(shí)策略游戲是另一種常用于評(píng)估機(jī)器智能的平臺(tái)，和棋牌類游戲相比，其整個(gè)對(duì)抗過程即時(shí)進(jìn)行。通常情況下，該類游戲包含資源采集、基地建造、發(fā)展科技等若干因素，游戲玩家需要平衡不同因素并控制單個(gè)或者多個(gè)被控制單元以完成對(duì)抗，經(jīng)典的實(shí)時(shí)策略游戲包括星際爭(zhēng)霸以及Dota2等。得益于國(guó)際AI賽事以及企業(yè)與學(xué)術(shù)界的友好合作，即時(shí)策略游戲AI取得了長(zhǎng)足的進(jìn)展。

星際爭(zhēng)霸AI程序AlphaStar以10:1擊敗了人類專業(yè)選手 相關(guān)的AI算法包括基于多智能體強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)被控單元間微操的控制，基于深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行宏觀戰(zhàn)斗決策的制定,以及基于狀態(tài)機(jī)模型實(shí)現(xiàn)對(duì)抗過程的演化等。盡管深度強(qiáng)化學(xué)習(xí)技術(shù)在多個(gè)游戲中具有不俗的表現(xiàn)，如何提高模型的穩(wěn)定性以及性能以擊敗頂級(jí)人類玩家、如何實(shí)現(xiàn)模型的可解釋以支撐學(xué)習(xí)的可信任建模仍需要AI算法的不斷突破。

5.3軍事模擬及推演對(duì)抗

軍事模擬及推演由于其戰(zhàn)略意義，長(zhǎng)期以來受到國(guó)家層面的關(guān)注，其對(duì)抗演練具有重要實(shí)用價(jià)值.隨著博弈對(duì)抗規(guī)模的擴(kuò)大，對(duì)抗空間呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，多兵種協(xié)同與環(huán)境耦合的問題凸顯，戰(zhàn)爭(zhēng)系統(tǒng)具有強(qiáng)非線性和高動(dòng)態(tài)等復(fù)雜特性，解析計(jì)算和隨機(jī)逼近最佳策略都存在巨大挑戰(zhàn)；人機(jī)對(duì)抗需要發(fā)展對(duì)手行為意識(shí)建模和協(xié)同演化博弈策略，以不斷提升對(duì)抗能力。

空戰(zhàn)智能博弈人機(jī)對(duì)抗系統(tǒng)(ALPHA)， 拉開了無人裝備對(duì)抗有人裝備的序幕

自動(dòng)化所研制的CASIA先知1.0系統(tǒng)在兵棋推演大賽獲勝 事實(shí)上，博弈貫穿于人類社會(huì)的方方面面，博弈和對(duì)抗在政治、經(jīng)濟(jì)、文化、軍事等多方面都發(fā)揮著重要的作用, 人機(jī)對(duì)抗技術(shù)也將在信息獲取、傳輸、分析、理解、推理、決策等環(huán)節(jié)發(fā)揮作用，推動(dòng)感知和認(rèn)知智能的發(fā)展。 6

總結(jié)與展望

人工智能尤其是機(jī)器學(xué)習(xí)、類腦計(jì)算等領(lǐng)域的發(fā)展給人機(jī)對(duì)抗智能及自主進(jìn)化帶來了契機(jī)，迫切需要深化人機(jī)對(duì)抗問題本質(zhì)的理解與解析，科學(xué)合理地建立機(jī)器智能與人類智能的高效協(xié)作機(jī)制，取得人機(jī)對(duì)抗理論、技術(shù)與應(yīng)用的重大突破, 并在人類社會(huì)的經(jīng)濟(jì)、政治、金融及生活等多領(lǐng)域推進(jìn)智能化進(jìn)程。