Su Hui，IBM坎布里奇研究院（IBM Research - Cambridge）用戶認(rèn)知體驗總監(jiān)

IBM 研究院和倫斯勒理工學(xué)院 (RPI) 正在攜手開創(chuàng)幫助學(xué)生學(xué)習(xí)漢語的新途徑，希望以 AI 技術(shù)支持的助手配合沉浸式課堂環(huán)境進行教學(xué)，這在語言教學(xué)領(lǐng)域是前所未有的創(chuàng)舉。這種課堂名叫認(rèn)知沉浸室 (CIR)，能讓學(xué)生感覺自己置身于中國的餐館、園林或太極學(xué)習(xí)班中，與 AI 聊天機器人練習(xí)漢語對話。CIR 是由 IBM 研究院和 RPI 合作的研究機構(gòu)認(rèn)知與沉浸式系統(tǒng)實驗室 (CISL) 開發(fā)的。

倫斯勒理工學(xué)院的計算機科學(xué)系研究生 Rahul Divekar 演示 CISL 正在開發(fā)的 AI 輔助漢語學(xué)習(xí)工具。

CISL 研究員們演示 AI 輔助漢語學(xué)習(xí)工具。

要學(xué)習(xí)一門新的語言，特別是像漢語這樣高難度的語言，必須讓學(xué)生獲得大量實際練習(xí)對話技能的機會。通過沉浸式的文化氛圍自然而然地掌握一門新語言，可能要比非沉浸式的練習(xí)有效得多。但是，大多數(shù)漢語初學(xué)者無法獲得體驗式學(xué)習(xí)的機會。這就是我們開發(fā) CIR 的初衷。

沉浸式游戲化課堂環(huán)境

為了實現(xiàn)多種模式的自然沉浸式對話，CIR 綜合了語音文本轉(zhuǎn)換，自然語言理解和計算機視覺等多種先進技術(shù)。教室里放置了一套 360 度全景式顯示系統(tǒng)、一套音頻系統(tǒng)、多個攝像頭、多部 Kinect 設(shè)備和多個話筒，當(dāng)然還有用于支持 AI 技術(shù)的計算機系統(tǒng)，其中一部分放在教室里，還有一些位于云端。

我們的目標(biāo)是將沉浸式的認(rèn)知技術(shù)與游戲元素相結(jié)合，讓學(xué)生體驗到一種文化環(huán)境，練習(xí)日常對話任務(wù)，并且獲得智能助手的幫助。我們通過漢語項目，在 CIR 中使用 IBM Watson 作為對話機器人，與學(xué)習(xí)漢語的學(xué)生進行交流。該項目采用了 IBM Watson 語音識別技術(shù)和針對英漢兩種語言的自然語言理解技術(shù)。

在通過沉浸式氛圍學(xué)習(xí)外語的過程中，學(xué)生遇到的最大障礙之一就是，害怕被母語使用者評判。但是在 CIR 中，學(xué)生可以借助虛擬的對話合作伙伴來練習(xí)詞匯和發(fā)音，不必承受真實環(huán)境中的壓力。

許多語言學(xué)習(xí)研究者都在使用虛擬現(xiàn)實或增強現(xiàn)實技術(shù)，但我們研究的是真人沉浸式游戲環(huán)境，學(xué)生不需要穿戴專門的設(shè)備，就可以在這樣的環(huán)境中實際游覽。這反映了人機交互領(lǐng)域的一個大趨勢，那就是我們在日常生活中的信息交流將會有更強的沉浸感，而人們與智能機器的交互也會向深度融合的方向邁進。

2017 年晚秋時節(jié)，我們的系統(tǒng)已經(jīng)在 RPI 校園里的中文 1 級課程中接受了測試。今年秋天，我們將繼續(xù)在中文 1 級、2 級和 3 級課程中使用 AI 作為教學(xué)工具，目標(biāo)是在 2019 年夏天推出綜合中文 1-3 級內(nèi)容的新課程。

課堂背后的研究——不僅僅是研究課堂

認(rèn)知與沉浸式系統(tǒng)實驗室(CISL) 是 IBM 人工智能地平線網(wǎng)絡(luò) (IBM AI Horizons Network) 的一部分，專門構(gòu)建并運用各種先進的技術(shù)，包括上下文感知系統(tǒng)（context-aware systems）、語音聲調(diào)軌跡分析（pitch tone contour analysis）、人類與 AI 機器人之間自然語言對話中的中英雙語切換（language-switch between Chinese and English in a natural language conversation between people and AI agents）、多用戶多模式交互（multi-user multimodal interaction）、決策過程中的推理和規(guī)劃（reasoning and planning in the decision-making process），以及自動生成描述、視覺和聽覺信息的多模式故事敘述（multimodal storytelling with automatic generation of narrative, visualization and sonification）。

認(rèn)知沉浸室 (CIR) 是 CISL 的四個應(yīng)用案例之一。該實驗室還致力于增強群體智能，用于董事會等現(xiàn)實環(huán)境中的關(guān)鍵決策。在未來，這些新型認(rèn)知與沉浸式系統(tǒng)將會從根本上改變?nèi)藗兊纳詈凸ぷ鞣绞健IR 的早期原型已經(jīng)提供了很多研究用戶交互的機會，讓我們能夠發(fā)現(xiàn)并應(yīng)對語言學(xué)習(xí)領(lǐng)域的新挑戰(zhàn)。