本次LiveVideoStackCon 2020線下北京峰會(huì)我們邀請(qǐng)到了360AI影像事業(yè)部總經(jīng)理張焰老師來做分享，他會(huì)為我們帶來目前AI視覺在教育中的創(chuàng)新應(yīng)用，包括課堂專注度、課堂接受度、疲勞提醒、姿態(tài)糾正等在線教育場(chǎng)景解決方案。

1 公司介紹

大家好，首先介紹一下我們的公司，我們屬于360集團(tuán)內(nèi)部孵化的創(chuàng)新業(yè)務(wù)線，專注于AI視覺算法的研發(fā)和應(yīng)用。我們圍繞著人、物、場(chǎng)景三個(gè)方向?yàn)?a href="http://www.makelele.cn/v/tag/11230/" target="_blank">智能手機(jī)、泛文娛、IOT領(lǐng)域提供一些專業(yè)的算法支持和行業(yè)解決方案。

我們的核心能力包括智能多攝、單幀/多幀畫質(zhì)，這類算法在手機(jī)客戶中應(yīng)用較多；人像美化，包括AR特效等會(huì)運(yùn)用到泛文娛的領(lǐng)域；場(chǎng)景識(shí)別涉及人、物、環(huán)境等多樣化的場(chǎng)景識(shí)別能力，另外包括一些視頻分析的能力，在IOT領(lǐng)域也有廣泛應(yīng)用。

本次我的分享主題是360AI視覺在在線教育中的創(chuàng)新算法和應(yīng)用。

2 我們?yōu)槭裁丛谧鼋逃?

當(dāng)然很多人會(huì)說，家長(zhǎng)愿意為孩子花錢，做教育更容易掙到錢。但更重要的是因?yàn)橐咔榈谋l(fā)，使得在線教育得到了前所未有的發(fā)展機(jī)遇。在一兩個(gè)月內(nèi)，政府部門就將線下的教學(xué)場(chǎng)景搬到了線上，完成了大遷移，但在這個(gè)大躍進(jìn)中也暴露了很多問題。

2.1在線教育行業(yè)痛點(diǎn)

在線教育仍有很多痛點(diǎn)亟待解決。 第一點(diǎn)是學(xué)生自覺性差。K12教育是典型的督導(dǎo)式教學(xué)，以前的督導(dǎo)壓力都在老師身上，面對(duì)面在線下督導(dǎo)學(xué)生，而現(xiàn)在督導(dǎo)的壓力都轉(zhuǎn)移給了家長(zhǎng)，家長(zhǎng)確實(shí)是操碎了心。 第二點(diǎn)是教學(xué)效果難以評(píng)估。意思就是這個(gè)學(xué)生有沒有認(rèn)真聽，有沒有聽懂，是沒有量化指標(biāo)的。 第三點(diǎn)是課堂互動(dòng)性差。因?yàn)榧夹g(shù)的不完善及各種主客觀限制，線上課堂很難完整地模擬線下課堂場(chǎng)景，缺乏雙向互動(dòng)的環(huán)境。 第四點(diǎn)是教學(xué)效率低。包括從教師端到學(xué)生端的適應(yīng)和學(xué)習(xí)成本，還有空間限制帶來的管教效率。 以上四個(gè)問題總結(jié)而言就是缺少了教育質(zhì)量監(jiān)督評(píng)價(jià)體系，而我們要做的事情就是彌補(bǔ)和改善這個(gè)體系的缺失。 3 未來的思考AI視覺能為在線做什么？

我們針對(duì)以上問題提出了對(duì)應(yīng)的解決方案，分別是：代替督學(xué)方案、量化監(jiān)測(cè)方案、智能互動(dòng)方案、智能教輔工具。

3.1代替督學(xué)方案

3.1.1疲勞提醒

也許有些人在之前已經(jīng)聽過或用過這項(xiàng)技術(shù)，現(xiàn)如今的檢測(cè)準(zhǔn)確率較早前已經(jīng)有很大改進(jìn)。我們的疲勞提醒有三個(gè)維度，包括“打哈欠”、“瞌睡”和“趴著”，“打哈欠”和“瞌睡”這兩個(gè)維度在汽車駕駛中早有應(yīng)用，針對(duì)教育場(chǎng)景我們單獨(dú)研發(fā)了“趴著”的監(jiān)測(cè)?！芭恐边@個(gè)維度如何檢測(cè)準(zhǔn)確是比較有難度的，有些人可能會(huì)想到可以用人體骨骼關(guān)鍵點(diǎn)，這個(gè)方法針對(duì)全身還是比較準(zhǔn)的，但針對(duì)半身，尤其是趴著時(shí)只有一個(gè)頭甚至是頭發(fā)的時(shí)候，骨骼關(guān)鍵點(diǎn)無法起作用了，這里就需要用到更復(fù)雜的檢測(cè)手段和技術(shù)。

3.1.2姿態(tài)糾正

姿態(tài)糾正這個(gè)功能大家可能在教育平板或教育臺(tái)燈中體驗(yàn)過，用得也比較廣泛。坐姿不良需要用到人的骨骼關(guān)節(jié)點(diǎn)和深度學(xué)習(xí)的技術(shù)，它有很多類別，包括上述提到過的趴著、臥倒、傾斜甚至是葛優(yōu)躺，都可以認(rèn)為是姿態(tài)不正。距離提醒這一塊主要是用于護(hù)眼健康，可以實(shí)時(shí)檢測(cè)到人臉到屏幕的距離。

3.1.3 學(xué)生姿態(tài)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)

這個(gè)姿態(tài)監(jiān)測(cè)系統(tǒng)分為兩個(gè)方面：人臉姿態(tài)、人體姿態(tài)。人體姿態(tài)在上面提到過，我們是基于人體骨骼關(guān)鍵點(diǎn)配合深度圖像，從而精準(zhǔn)地判斷出各類人體姿態(tài)。這項(xiàng)技術(shù)以前都是2D圖像信息，而我們創(chuàng)造性加入了3D深度信息，來輔助人體姿態(tài)識(shí)別。深度圖像同時(shí)還可以用來測(cè)距。那這個(gè)深度圖像從哪里來呢？這就要和硬件相結(jié)合，像現(xiàn)在很多教育平板都加入了雙攝，前置結(jié)構(gòu)光，前置TOF。

3.2量化檢測(cè)

課堂專注度、課堂接受度是家長(zhǎng)非常關(guān)注的。課堂專注度表示學(xué)生是否認(rèn)真在聽，課堂接受度表示學(xué)生是否聽懂。之前我們的客戶曾提過這個(gè)問題，家長(zhǎng)沒有課堂表現(xiàn)報(bào)告，不知道學(xué)生上課狀態(tài)及學(xué)習(xí)效果到底怎么樣。所以為了解決這個(gè)痛點(diǎn)，我們提出了課堂效果量化檢測(cè)的方案。

3.2.1普通專注度檢測(cè)

大家可以看一下這是以往的普通專注度檢測(cè)圖示，這里只有一個(gè)2D圖像信息，檢測(cè)準(zhǔn)確度存在較大誤差；其次它的監(jiān)測(cè)指標(biāo)單一，只有一些零散的指標(biāo)次數(shù)，無法精確地回溯學(xué)情。 3.2.2 360AI課堂專注度

上圖是我們3D深度檢測(cè)+學(xué)情回溯追蹤的專注度監(jiān)測(cè)解決方案?？梢钥吹轿覀兗尤肓?D的人臉檢測(cè)信息，可以更精準(zhǔn)地估計(jì)出姿態(tài)和視線方向。同時(shí)輔助事件觸發(fā)機(jī)制，判斷狀態(tài)的同時(shí)會(huì)保存當(dāng)前事件的觸發(fā)時(shí)刻、事件截圖、狀態(tài)持續(xù)時(shí)長(zhǎng)等，這樣可以非常精確地有針對(duì)性地進(jìn)行學(xué)情分析和回溯。 3.2.3課堂接受度

課堂接受度是從上圖五個(gè)維度進(jìn)行綜合分析，這里的維度可以分為兩個(gè)方向，包括正向指標(biāo)和負(fù)向指標(biāo)。從課堂接受度而言，正向的評(píng)價(jià)有舉手、微笑、點(diǎn)頭，代表學(xué)生參與度比較高，表示他（她）聽懂了。負(fù)向的評(píng)價(jià)是疑惑、搖頭，這說明接受度不太高。 3.2.4表情識(shí)別流程圖

剛剛說到了疑惑的表情，老師的責(zé)任就是傳道受業(yè)解惑，如果老師都不知道學(xué)生有沒有疑惑，他（她）怎么去解惑？所以首先我們要把疑惑檢測(cè)出來，在學(xué)術(shù)界，只有七類表情，沒有疑惑，所以我們專門為教育增加了疑惑的表情。我們加入了大量疑惑的數(shù)據(jù)，通過結(jié)合人臉識(shí)別技術(shù)和人臉關(guān)鍵點(diǎn)技術(shù)輔助檢測(cè)，可以比較精準(zhǔn)的判斷出疑惑的表情。 3.3智能互動(dòng)（AI沉浸式課件、多向智能互動(dòng)） 我們的智能互動(dòng)方案主要介紹兩個(gè)技術(shù)，分別是AI沉浸式課件和多向智能互動(dòng)技術(shù)。 3.3.1傳統(tǒng)課件

上圖是傳統(tǒng)課件的錄播和直播課場(chǎng)景，錄播課一般都會(huì)像上圖左邊所示搭一個(gè)錄播室，后面有綠幕，有補(bǔ)光燈。這對(duì)環(huán)境條件要求很高，要有場(chǎng)地，要有設(shè)備，很不方便。上圖右邊是比較常見直播課界面，只有一個(gè)老師的頭像和投放的課件，這兩個(gè)東西是分屏展示的，也就是說老師和課件之間沒有任何互動(dòng)。 3.3.2 AI沉浸式課件

上圖是我們研發(fā)的AI沉浸式課件，把老師的頭像與課件內(nèi)容融合在一起，可以通過手勢(shì)控制課件的播放，比如說下一頁、上一頁、暫停等，有很直觀的互動(dòng)效果。老師和課件完全融合在一起，不受場(chǎng)地限制，不需要專用設(shè)備，只需要一個(gè)攝像頭就可以了。 3.3.3網(wǎng)課互動(dòng)限制

上圖是現(xiàn)在比較主流的網(wǎng)絡(luò)教學(xué)直播界面，主要是以老師單向輸出為主，學(xué)生被動(dòng)接受，學(xué)生和老師之間僅能通過文字互動(dòng)。 3.3.4多向智能互動(dòng) 我們希望通過一些技術(shù)手段，改變這種單一的互動(dòng)模式，讓網(wǎng)課更生動(dòng)、更有趣。 手勢(shì)識(shí)別

像我們動(dòng)畫里展示的是老師點(diǎn)贊的特效，學(xué)生端可以實(shí)時(shí)收到顯眼的反饋。那學(xué)生舉手老師知不知道呢？這也是可以識(shí)別的，比如說學(xué)生舉手后快速把頭像換成第一位，把頭像放大，老師可以快速知道是哪個(gè)學(xué)生舉手了，這項(xiàng)功能可以模擬復(fù)現(xiàn)線下教學(xué)場(chǎng)景。

表情識(shí)別

再比如表情識(shí)別，檢測(cè)到學(xué)生出現(xiàn)疑惑情緒，系統(tǒng)就會(huì)把她highlight出來，老師就知道哪個(gè)學(xué)生沒有聽懂。這是非常有價(jià)值的，現(xiàn)在在線教育并沒有做到這一點(diǎn)。 人臉特效

還有一些增加趣味性的人臉特效，一些可愛的動(dòng)效可以抓住低領(lǐng)學(xué)生的注意力和興趣點(diǎn)。 3.4智能工具（超清拍題，智能補(bǔ)光，人臉考勤） 超清拍題與智能補(bǔ)光是我們首發(fā)的技術(shù)。 3.4.1超清拍題——拍照模糊問題

在線教育除了直播授課，還有課后作業(yè)場(chǎng)景，學(xué)生會(huì)遇到拍課件、拍題的問題。大部分學(xué)生的手都很小，如果用學(xué)習(xí)平板很容易拿不穩(wěn)，拍題就拍虛了。當(dāng)然也有人會(huì)說，我可以用光學(xué)防抖，但大家都知道光學(xué)防抖的每一個(gè)器件要增加3-4美金成本。只有買的是真正的旗艦手機(jī)，才會(huì)有光學(xué)防抖。所以我們提出了純軟的光學(xué)防抖方案，一次性解決上圖所示各種拍照模糊問題，比如失焦，曝光拖影，抖動(dòng)，噪點(diǎn)，暗光等。 3.4.2超清拍照——一個(gè)方案解決所有拍攝模糊問題

這個(gè)方案是我第一次公開講，有些手機(jī)客戶已經(jīng)接入了我們的方案。流程也很簡(jiǎn)單，輸入有兩種方式，傳感器輸入和三幀圖像，再進(jìn)行傳感器融合，位置估計(jì)，運(yùn)動(dòng)向量估計(jì)，根據(jù)位置信息進(jìn)行防抖去模糊處理。輸入的三幀照片進(jìn)行對(duì)齊，降噪等一系列處理，最后進(jìn)行動(dòng)態(tài)范圍提升和圖像增強(qiáng)。圖像增強(qiáng)包括對(duì)比度增強(qiáng)銳化，整體是一個(gè)比較復(fù)雜的流程，這里我們簡(jiǎn)化給大家展示。 3.4.3客戶案例——錄音筆HD Shot

這是我們的一個(gè)客戶案例，我們的超清拍照技術(shù)已經(jīng)應(yīng)用在訊飛智能錄音筆上，可以用來提升拍會(huì)議文檔的圖像質(zhì)量，不再擔(dān)心拍照拍虛的問題。 3.4.4 HD Shot效果展示 我們來看一下具體的效果對(duì)比。

這是增強(qiáng)效果。

這是防抖效果。

這是HDR效果，主要是提升動(dòng)態(tài)范圍，實(shí)現(xiàn)高光抑制和暗部提亮。

我們的畫質(zhì)提升能力不僅體現(xiàn)在拍照上，還能應(yīng)用于視頻。 3.4.5智能補(bǔ)光燈

通常專業(yè)的主播間中都有一個(gè)很大的補(bǔ)光燈，長(zhǎng)期近距離直視或多或少會(huì)對(duì)眼睛產(chǎn)生傷害，于是我們提出了純軟的補(bǔ)光方案。上圖所示是全局補(bǔ)光效果，我們還有一個(gè)只針對(duì)人臉補(bǔ)光的方案，基于膚色分割和3D打光技術(shù)，提升人臉質(zhì)感和通透度。 3.4.6人臉考勤

人臉考勤對(duì)線上和線下課堂都非常有價(jià)值，可以快速進(jìn)行學(xué)生考勤，同時(shí)可防止代答到的情況發(fā)生。 4 客戶案例——網(wǎng)課助手

看完前面的技術(shù)介紹，接下來介紹一下我們針對(duì)在線教育研發(fā)的一個(gè)課質(zhì)監(jiān)測(cè)產(chǎn)品，叫網(wǎng)課助手。網(wǎng)課助手有4大場(chǎng)景SDK，包含專注度，課堂接受度，疲勞提醒，姿態(tài)糾正。這個(gè)SDK既可以發(fā)給老師又可以發(fā)給家長(zhǎng)，在后臺(tái)自動(dòng)生成檢測(cè)報(bào)告，家長(zhǎng)和老師可以更全面直觀地看到學(xué)生的學(xué)習(xí)情況和情緒狀態(tài)。 4.1方案架構(gòu)

網(wǎng)課助手的架構(gòu)是典型邊緣計(jì)算+云計(jì)算的架構(gòu)，家長(zhǎng)端只需要本地端的能力，本地端的設(shè)備越來越強(qiáng)，大家用的平板手機(jī)能力很強(qiáng)，這些檢測(cè)能力完全可以在端上實(shí)現(xiàn)，后臺(tái)更多的是和教育系統(tǒng)打通，把狀態(tài)及時(shí)推送給家長(zhǎng)和老師。 4.2應(yīng)用場(chǎng)景

有了檢測(cè)數(shù)據(jù)之后，老師可以快速得到整個(gè)班級(jí)表現(xiàn)狀況，上圖左邊代表每個(gè)維度上每個(gè)學(xué)生表現(xiàn)占比，分別展示表現(xiàn)好、中、差。上圖右邊可以將表現(xiàn)非常好和非常差的學(xué)生排列出來，做相應(yīng)的獎(jiǎng)勵(lì)或輔導(dǎo)。

對(duì)于單個(gè)學(xué)生，我們也可以給出更詳細(xì)的分析報(bào)告。比如想看疲勞度，會(huì)以時(shí)間軸的形式進(jìn)行展開，發(fā)現(xiàn)在10點(diǎn)21分檢測(cè)到學(xué)生瞌睡，瞌睡持續(xù)時(shí)長(zhǎng)一目了然。

想看看學(xué)生接受度如何，也可以根據(jù)時(shí)間戳回溯事件，看學(xué)生在哪部分內(nèi)容上接受度較好，哪部分較差。 5 總 結(jié)

我們一整套的在線教育解決方案是金字塔架構(gòu)，底層是AI底層技術(shù)，包括人臉識(shí)別、表情識(shí)別、手勢(shì)識(shí)別、姿態(tài)識(shí)別等技術(shù)；中層是基于各個(gè)場(chǎng)景的解決方案；最上層就是跨平臺(tái)的SDK和業(yè)務(wù)端的應(yīng)用。好的AI技術(shù)我們希望不只是噱頭，而是可以真正為客戶起到降本增效的作用。 專注度與課堂接受度是為了給家長(zhǎng)省心，老師放心，時(shí)間精力也算是一種成本；沉浸式課件課件減少投影儀，電視的使用；防抖技術(shù)可以省去光學(xué)防抖器件成本，省掉智能補(bǔ)光燈的成本，這都是AI實(shí)實(shí)在在的價(jià)值。 360AI視覺不止做教育，在智能手機(jī)、泛娛樂、IOT等領(lǐng)域都有豐富的技術(shù)應(yīng)用，期待和各行各業(yè)的朋友有更多交流合作。

責(zé)任編輯：lq