現(xiàn)有的大多數(shù)人工智能模型和方法仍屬于窄人工智能，也被稱為弱人工智能（weak artificial intelligence）。相對(duì)而言，強(qiáng)人工智能（strong artificial intelligence）期望機(jī)器能像人一樣思考、推理，能處理各種任務(wù)，比肩人類的智能水平（human-like or human-level intelligence）。與強(qiáng)人工智能相比，現(xiàn)有通用人工智能更加強(qiáng)調(diào)機(jī)器的“泛 化”能力，包括場(chǎng)景泛化（即模型從單一場(chǎng)景泛化 至多個(gè)場(chǎng)景）、模態(tài)泛化（即一個(gè)模型適用于多種 模態(tài)的任務(wù)）、任務(wù)泛化（即一個(gè)模型可以處理多種類型的任務(wù)）等。

通用人工智能目前仍然處于發(fā)展初期，是對(duì)現(xiàn)有窄/弱人工智能的反思、補(bǔ)充和改進(jìn)，也是通往強(qiáng)人工智能道路上的重要路線。通用人工智能所研究的是一個(gè)智能系統(tǒng)應(yīng)該具備哪些能力，并且運(yùn)用這些能力解決各式各樣的復(fù)雜問(wèn)題。

通用人工智能的多模態(tài)通用技術(shù)

現(xiàn)實(shí)生活中，人類接收的信息模態(tài)多種多樣，如視覺(jué)、聲音、文字、嗅覺(jué)、觸覺(jué)等。人類可以綜合運(yùn)用多種模態(tài)的信息對(duì)事物進(jìn)行理解和推理。多模態(tài)學(xué)習(xí)是通用智能需要解決的關(guān)鍵問(wèn)題之一，其任務(wù)可以歸結(jié)為兩個(gè)基本類：多模態(tài)表征學(xué)習(xí)和模態(tài)轉(zhuǎn)換。需要指出的是，這兩個(gè)問(wèn)題并非不相關(guān)，比如表征可以用來(lái)做模態(tài)轉(zhuǎn)換。下面介紹幾種典型的多模態(tài)學(xué)習(xí)任務(wù)。

多模態(tài)表征學(xué)習(xí)和融合

多模態(tài)表征學(xué)習(xí)指的是學(xué)習(xí)包含多個(gè)模態(tài)的樣本表征，比如視頻里可能包含的視覺(jué)信息、聲音信息等，使得表征能夠反映所包含的多個(gè)模態(tài)信息，以幫助理解識(shí)別等任務(wù)。最直接的方法是分別處理各個(gè)模態(tài)，得到每個(gè)模態(tài)的表征，再將其直接拼接起來(lái)作為最后的表征；也可以最終只產(chǎn)生一個(gè)表征，把不同模態(tài)的表征融合成一個(gè)表征；也可以繼續(xù)把融合的表征做進(jìn)一步處理，以生成更強(qiáng)的表征；還可以在產(chǎn)生表征的過(guò)程中，不停地進(jìn)行模態(tài)之間的信息交互或者融合，以增強(qiáng)每個(gè)模態(tài)的表征。

多模態(tài)協(xié)同學(xué)習(xí)

多模態(tài)協(xié)同學(xué)習(xí)指的是利用模態(tài)之間的關(guān)聯(lián)，借助其他一個(gè)或者多個(gè)模態(tài)，來(lái)幫助某一模態(tài)或者多個(gè)模態(tài)建模和學(xué)習(xí)。模態(tài)之間的關(guān)聯(lián)信息非常常見(jiàn)，比如人在說(shuō)話的時(shí)候，既有聲音模態(tài)，也有視覺(jué)（唇語(yǔ)）模態(tài)，如人臉表情或者行為動(dòng)作；比如互聯(lián)網(wǎng)上的圖片，通常有文件名等；比如在視頻中，視頻幀可能有相應(yīng)的聲音（語(yǔ)音或者音樂(lè)），也可能有文字腳本。人類對(duì)單一模態(tài)的理解，也是通過(guò)聯(lián)合其他模態(tài)信息進(jìn)行分析的。多模態(tài)協(xié)同學(xué)習(xí)的要領(lǐng)在于把關(guān)聯(lián)轉(zhuǎn)換成合適的約束，以及從各個(gè)模態(tài)獲取合適的信息形成約束。例如圖像和文本（比如圖像及其文件名）有一一對(duì)應(yīng)關(guān)系。

借助于物體的屬性描述來(lái)幫助圖像識(shí)別建模，在某種意義上也是多模態(tài)協(xié)同學(xué)習(xí)。例如，對(duì)狗的識(shí)別，我們都清楚地了解狗是由哪些部分組成的，具有怎樣的屬性特征，比如它有4條腿、尾巴、毛發(fā)等。但是在目前主流的物體識(shí)別中，這種信息沒(méi)有被加進(jìn)去，“狗”只是作為一個(gè)標(biāo)簽。而人類從圖像里識(shí)別狗的時(shí)候，頭腦中有很多狗的圖像認(rèn)知信息，同時(shí)也從別的渠道獲得狗的其他知識(shí)，如組成方式等。所以，建模時(shí)需要把關(guān)于狗的額外知識(shí)信息加進(jìn)去，來(lái)提升建模識(shí)別性能，也會(huì)提升模型的魯棒性。

多模態(tài)統(tǒng)一表征學(xué)習(xí)

多模態(tài)統(tǒng)一表征學(xué)習(xí)指的是把不同模態(tài)映射到 同一個(gè)特征空間，使得不同模態(tài)在這個(gè)特征空間里可以直接比較（比如歐氏距離），比較的時(shí)候不用 區(qū)分特征來(lái)自什么模態(tài)。多模態(tài)任務(wù)可以是把一幅圖片轉(zhuǎn)變成一段文字或者一首詩(shī)，或者將文字轉(zhuǎn)化成一幅圖像；以及在文字、圖片或者視頻搜索中，如果圖像和文本的特征都轉(zhuǎn)換到同一個(gè)空間中，那我們就可以進(jìn)行統(tǒng)一的搜索，而不再區(qū)分不同的模態(tài)。

人類具有在不同模態(tài)之間快速映射的能力，比如看到一個(gè)場(chǎng)景，我們的頭腦會(huì)快速“搜索”到應(yīng)景的一首歌、一段文字或者一首詩(shī)。多模態(tài)統(tǒng)一表示是模擬人類這個(gè)能力的一種實(shí)現(xiàn)方法。多模態(tài)統(tǒng)一表征問(wèn)題的主要研究點(diǎn)在于如何定義關(guān)系保持和尋找合適的映射，以及對(duì)大規(guī)模數(shù)據(jù)和實(shí)際問(wèn)題的探索。目前已經(jīng)有了實(shí)際系統(tǒng)的探索，如“小冰寫詩(shī)”。

責(zé)任編輯：YYX