隨著AI應(yīng)用的場(chǎng)景越來(lái)越豐富，加上數(shù)據(jù)量小、任務(wù)復(fù)雜等種種實(shí)踐中可能出現(xiàn)的挑戰(zhàn)，有時(shí)機(jī)器學(xué)習(xí)的結(jié)果并不理想，而且效率低下。而我們?nèi)祟?lèi)擁有豐富的專(zhuān)業(yè)經(jīng)驗(yàn)，為什么不向機(jī)器傳授一些小訣竅呢？為此，微軟研究院推出了一種輔助方法——“機(jī)器教學(xué)”（Machine Teaching），人類(lèi)可以利用自己的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)幫助AI進(jìn)行更有針對(duì)性的學(xué)習(xí)，幫助強(qiáng)化學(xué)習(xí)算法更快地找到解決方案。本文編譯自微軟人工智能博客“Machine teaching: How people’s expertise makes AI even more powerful”。

微軟商業(yè)人工智能事業(yè)部總經(jīng)理、Bonsai公司前首席執(zhí)行官M(fèi)ark Hammond

用人類(lèi)的知識(shí)幫助機(jī)器學(xué)習(xí)

我們今天的機(jī)器學(xué)習(xí)過(guò)程，某種程度上就像把一根球棒和一只棒球交給五歲小朋友，向他展示球棒和棒球之間無(wú)數(shù)種使用方法，然后期望他自己體會(huì)出打棒球的正確方式——我們向機(jī)器展示海量的數(shù)據(jù)，希望它能自己找到其中的關(guān)聯(lián)和模式。這對(duì)簡(jiǎn)單的文本、圖像識(shí)別等常見(jiàn)的AI技術(shù)來(lái)說(shuō)非常有效，但隨著AI應(yīng)用的領(lǐng)域和場(chǎng)景越來(lái)越豐富，有時(shí)機(jī)器自主學(xué)習(xí)的效果并不理想，而且效率低下，特別是在訓(xùn)練數(shù)據(jù)過(guò)少的情況下。

“面對(duì)人類(lèi)，我們可能會(huì)非常自然地想到，教小朋友打棒球要從最簡(jiǎn)單的開(kāi)始，慢慢過(guò)渡到快球；但當(dāng)我們面對(duì)機(jī)器的時(shí)候，大家都想直接給系統(tǒng)上快球。事實(shí)上，機(jī)器學(xué)習(xí)除了自行從數(shù)據(jù)中摸索知識(shí)，更可以從經(jīng)驗(yàn)豐富的人類(lèi)這里獲取相關(guān)的知識(shí)?！?微軟商業(yè)人工智能事業(yè)部總經(jīng)理Mark Hammond說(shuō)。為此，微軟研究院開(kāi)發(fā)了一種輔助方法——“機(jī)器教學(xué)”（Machine Teaching），人類(lèi)可以利用自己的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)幫助AI將復(fù)雜問(wèn)題分解成比較簡(jiǎn)單的任務(wù)，并為機(jī)器學(xué)習(xí)模型提供相關(guān)的重要線索，幫助強(qiáng)化學(xué)習(xí)算法更好地找到解決方案。

如果你要教一位小朋友識(shí)別桌子，你會(huì)先告訴他：“它有四條腿和一個(gè)平面”。如果他把椅子也當(dāng)成了桌子，你就會(huì)進(jìn)一步向他解釋?zhuān)骸耙巫佑锌勘?，但桌子沒(méi)有靠背”。這一抽象的反饋的循環(huán)是人類(lèi)學(xué)習(xí)方式的關(guān)鍵，而它也能使傳統(tǒng)的機(jī)器學(xué)習(xí)方法變得更強(qiáng)大。

機(jī)器教學(xué)能在許多場(chǎng)景中發(fā)揮出格外的優(yōu)勢(shì)。在有監(jiān)督學(xué)習(xí)中，如果某個(gè)特定行業(yè)或公司的需求過(guò)于具體，導(dǎo)致訓(xùn)練數(shù)據(jù)非常少，機(jī)器教學(xué)將非常有用。而在復(fù)雜的強(qiáng)化學(xué)習(xí)場(chǎng)景中，算法可能很難從數(shù)百萬(wàn)種可能中做出選擇，這時(shí)，如果擁有某方面專(zhuān)業(yè)知識(shí)的人類(lèi)提供一些幫助，機(jī)器就能大大縮短尋找解決方案的時(shí)間。

這也是微軟提出機(jī)器教學(xué)的長(zhǎng)遠(yuǎn)目標(biāo)之一。我們希望為來(lái)自各行各業(yè)的人們提供人工智能平臺(tái)，讓律師、會(huì)計(jì)師、工程師、護(hù)士等不同領(lǐng)域的專(zhuān)家即使具備很少的AI專(zhuān)業(yè)知識(shí)，也能將所在領(lǐng)域的專(zhuān)業(yè)知識(shí)傳授給智能系統(tǒng)，讓智能系統(tǒng)更有效地助力問(wèn)題的解決。

“即使是最聰明的AI，也要經(jīng)過(guò)很多學(xué)習(xí)才能完成現(xiàn)實(shí)世界中的復(fù)雜任務(wù)。因此AI需要在人們的引導(dǎo)下學(xué)習(xí)，這也讓更廣泛的用戶能借助機(jī)器學(xué)習(xí)來(lái)完成復(fù)雜的任務(wù)，這是機(jī)器教學(xué)的意義所在。” 微軟商業(yè)人工智能事業(yè)部副總裁Gurdeep Pall表示。

微軟機(jī)器教學(xué)組對(duì)機(jī)器教學(xué)原理的探索已將近十年，目前他們正在將這些概念融入微軟的各大產(chǎn)品，以幫助企業(yè)構(gòu)建定制化的智能系統(tǒng)與工具?！叭绻憧梢韵蛩藗魇谀承┲R(shí)，你也能用相似的方法把它們傳授給機(jī)器?！蔽④浗艹龉こ處?、機(jī)器教學(xué)項(xiàng)目發(fā)起者Patrice Simard說(shuō)，他的團(tuán)隊(duì)將加入微軟體驗(yàn)與設(shè)備組，將機(jī)器教學(xué)與微軟的對(duì)話式AI產(chǎn)品進(jìn)一步整合。

微軟研究員Patrice Simard，Alicia Edelman Pelton和Riham Mansour（從左至右）正在將機(jī)器教學(xué)融入微軟產(chǎn)品中

機(jī)器教學(xué)的應(yīng)用潛力

Simard開(kāi)始思考新的AI系統(tǒng)范式，是因?yàn)樗⒁獾綑C(jī)器學(xué)習(xí)會(huì)議上的許多工作都在通過(guò)精妙的基準(zhǔn)測(cè)試來(lái)提高算法性能。這讓他意識(shí)到“教授”知識(shí)對(duì)機(jī)器學(xué)習(xí)的重要性，特別是在數(shù)據(jù)有限的情況下。

機(jī)器教學(xué)要通過(guò)識(shí)別高層級(jí)、有意義的特征來(lái)改進(jìn)模型。比如，你想讓AI選出質(zhì)量最好的汽車(chē)，卻只有很少的標(biāo)注數(shù)據(jù)，AI提取出的“好車(chē)”的特征可能會(huì)非常不靠譜，比如“車(chē)牌第四位是2”。但如果提示AI對(duì)油耗、安全評(píng)級(jí)、碰撞測(cè)試、價(jià)格等標(biāo)準(zhǔn)進(jìn)行綜合考量，盡管數(shù)據(jù)仍然有限，AI對(duì)汽車(chē)質(zhì)量的評(píng)估將有效許多。

除此之外，機(jī)器教學(xué)的另一個(gè)目的是把復(fù)雜任務(wù)分解為多個(gè)更簡(jiǎn)單的任務(wù)。如果沒(méi)有高層級(jí)特征，則可用包含較低層級(jí)特征、簡(jiǎn)單到只需少量案例就能學(xué)習(xí)的子模型來(lái)構(gòu)建。如果系統(tǒng)多次出現(xiàn)同樣的錯(cuò)誤，則可以通過(guò)添加特征或案例的方式來(lái)消除。

Azure認(rèn)知服務(wù)中的語(yǔ)言理解API是機(jī)器教學(xué)理念應(yīng)用的首批產(chǎn)品之一，它能夠幫助用戶 “理解” 短文本中的意圖和關(guān)鍵概念，目前已被UPS快遞、Progressive Insurance和西班牙電信等企業(yè)用于開(kāi)發(fā)智能客服機(jī)器人。使用機(jī)器教學(xué)的方法，人們將無(wú)需為客服機(jī)器人準(zhǔn)備包含所有用戶問(wèn)題的數(shù)據(jù)集，只需提供四五個(gè)問(wèn)題案例和該領(lǐng)域的重要特征、關(guān)鍵字，語(yǔ)言理解API就可以順利完成剩余的工作。

機(jī)器教學(xué)流程圖

再舉個(gè)例子，一家公司想用AI掃描過(guò)去一年的所有文件和電子郵件，了解銷(xiāo)售一共發(fā)出了多少次報(bào)價(jià)，又有多少次成功完成了銷(xiāo)售。AI首先要知道怎樣從合同或發(fā)票中識(shí)別報(bào)價(jià)，而問(wèn)題在于沒(méi)有現(xiàn)成的訓(xùn)練數(shù)據(jù)，而且每名銷(xiāo)售人員的開(kāi)單據(jù)的方式可能都有所差別。

這時(shí)，如果采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，這家公司就要經(jīng)歷漫長(zhǎng)繁復(fù)的人工標(biāo)記數(shù)據(jù)流程，再請(qǐng)一位機(jī)器學(xué)習(xí)專(zhuān)家來(lái)構(gòu)建機(jī)器學(xué)習(xí)模型。而一旦銷(xiāo)售人員改變了單據(jù)格式，模型就會(huì)無(wú)法識(shí)別。

而如果采用機(jī)器教學(xué)的模式，企業(yè)內(nèi)部的專(zhuān)業(yè)人員將為報(bào)價(jià)常見(jiàn)的特征和結(jié)構(gòu)提供線索，如客戶名、“報(bào)價(jià)單”、“交貨日期”、“產(chǎn)品”、“數(shù)量”、“付款條款”等關(guān)鍵詞。系統(tǒng)會(huì)將這些專(zhuān)業(yè)知識(shí)轉(zhuǎn)化為機(jī)器可理解的語(yǔ)言來(lái)執(zhí)行預(yù)先選擇的機(jī)器學(xué)習(xí)算法。這樣，利用組織內(nèi)已有的專(zhuān)業(yè)知識(shí)，就能在很短的時(shí)間內(nèi)為企業(yè)構(gòu)建定制化的AI解決方案。

微軟研究人員正在探索如何將機(jī)器教學(xué)應(yīng)用于更復(fù)雜的任務(wù)題，比如對(duì)更長(zhǎng)的文檔、電子郵件和圖像進(jìn)行分類(lèi)；以及如何讓“教學(xué)”的過(guò)程更直觀，比如向用戶呈現(xiàn)可能有意義的特征建議。

微軟商業(yè)人工智能事業(yè)部副總裁Gurdeep Pall講解基于機(jī)器教學(xué)的自主系統(tǒng)解決方案

將機(jī)器教學(xué)與深度強(qiáng)化學(xué)習(xí)融合

十余年前，當(dāng)Hammond在耶魯大學(xué)神經(jīng)科學(xué)實(shí)驗(yàn)室擔(dān)任系統(tǒng)程序員時(shí)，他注意到了科學(xué)家一步步訓(xùn)練動(dòng)物完成研究任務(wù)的過(guò)程。他由此想到，我們?nèi)祟?lèi)擁有豐富的專(zhuān)業(yè)經(jīng)驗(yàn)，為什么不向機(jī)器傳授一些小訣竅呢？

因此他創(chuàng)辦了Bonsai公司，將機(jī)器教學(xué)與深度強(qiáng)化學(xué)習(xí)融合，幫助企業(yè)在機(jī)器人、制造、能源、建筑管理等領(lǐng)域開(kāi)發(fā)自主系統(tǒng)。微軟在去年將Bonsai公司納入麾下。

深度強(qiáng)化學(xué)習(xí)模型通過(guò)基于激勵(lì)機(jī)制的反復(fù)試錯(cuò)進(jìn)行學(xué)習(xí)，目前在電子游戲中已經(jīng)能夠打敗人類(lèi)。Hammond認(rèn)為，對(duì)于現(xiàn)實(shí)世界中更為復(fù)雜的應(yīng)用問(wèn)題，深度強(qiáng)化學(xué)習(xí)還有很長(zhǎng)的路要走，而機(jī)器教學(xué)方法與深度強(qiáng)化學(xué)習(xí)的結(jié)合則可以大大提高解決問(wèn)題的效率。

開(kāi)發(fā)者和其他領(lǐng)域的專(zhuān)業(yè)人士可以用Bonsai定制的編程語(yǔ)言Inkling將自己的專(zhuān)業(yè)知識(shí)“傳授”給AI，就像編寫(xiě)課件一樣。通過(guò)對(duì)這些關(guān)鍵知識(shí)的學(xué)習(xí)，Bonsai系統(tǒng)能更快地選出最好的強(qiáng)化學(xué)習(xí)模型，并在模擬環(huán)境中測(cè)試不同的操作，給出效果最優(yōu)的解決方案，從而避免許多耗時(shí)的無(wú)效探索。

在Hammond看來(lái)，人們從一開(kāi)始就應(yīng)該告訴AI應(yīng)該著重關(guān)注哪些要點(diǎn)，“如果只用強(qiáng)化學(xué)習(xí)，不向它提供任何對(duì)解決問(wèn)題有幫助的信息，它就會(huì)像無(wú)頭蒼蠅一樣隨意探索，很難發(fā)現(xiàn)行之有效的解決方案。所以機(jī)器教學(xué)非常重要，它能夠讓問(wèn)題真正得以解決?！?/p>