照一張美美的自拍照一直是一個技術(shù)活！如果要和小伙伴們一起拍出一張漂亮的自拍那更是需要耐心加技術(shù)才能搞定，你需要握好手機準(zhǔn)備好拍照、看著相機并擺好pose，更重要的是要保證所有的小伙伴都在鏡頭內(nèi)沒有眨眼跑偏！一瞬間要行云流水地完成這些動作對于不經(jīng)常自拍小伙伴們還是有點挑戰(zhàn)的。

那么，現(xiàn)在都9102年的AI時代了，智能相機能不能幫我們拍出好看的自拍呢？讓我們來看看谷歌給出的答案。其實在去年年底，谷歌推出了一款名為Clips的應(yīng)用就給智能相機打下了堅實的基礎(chǔ)。Clips可以在移動端分析拍攝的質(zhì)量，并從一小段視頻中找出用戶最美的瞬間。基于這樣的技術(shù)，谷歌的研究人員開發(fā)了可以智能抓拍自拍的新應(yīng)用PhotoBooth。

這個應(yīng)用將會為你捕捉最美的瞬間，無論是單人、情侶還是多人的小伙伴們，他都會找到最合適的姿勢角度和快門為你記錄下最美的時刻。在進入軟件后它能自動識別其中人臉的表情和眼睛，在大家都睜眼并且表情很棒的時候幫你按下快門。這一針對自拍的技術(shù)專門對前置攝像頭進行了優(yōu)化，此外科研人員在逐一解決了三個挑戰(zhàn)才使得這一技術(shù)變?yōu)楝F(xiàn)實。為了實現(xiàn)Photobooth，

首先需要解決如何識別人群中眾多主體的表情是否到位；

隨后需要確定曝光時間已記錄最佳的圖像結(jié)果；

最后還需要為提供視覺輔助元素UI幫助用戶調(diào)整姿勢和表情以便相機可以拍攝下最好的你！

為優(yōu)質(zhì)內(nèi)容建模

為了拍下最美的瞬間，那么理解什么是美什么是好的姿勢和表情就尤為重要了。在自拍中相機需要識別是不是所有的人都在看鏡頭、或者當(dāng)情侶在接吻時抓拍下浪漫一刻。為了實現(xiàn)對優(yōu)質(zhì)內(nèi)容的理解和抓拍，Photobooth利用了兩個自拍模型來實現(xiàn)，分別用于檢測面部表情和親吻的動作。

通過和攝影師合作，研究人員提取出了五種高頻表情用于觸發(fā)相機記錄：微笑、吐舌、嘟嘴/自拍臉、鼓臉頰和驚奇的表情，這些是人們在自拍時最常用的表情。隨后利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類模型來對這些表情實現(xiàn)分類。而對于親吻，則在Clips中已有的圖像內(nèi)容模型的基礎(chǔ)上進行微調(diào)。最后通過MobileNets實現(xiàn)以便高效高幀率的進行處理，網(wǎng)絡(luò)的輸出將用于評價每一幀的質(zhì)量，并用于快門控制算法。

快門控制

當(dāng)按下Photobooth快門的時候前面的質(zhì)量評價算法就開始給每一幀的質(zhì)量打分了。首先需要利用濾波器來處理閉眼、運動模糊或者表情識別錯誤等。算法會對表情的置信度評分進行短暫的分析，并使得機器學(xué)習(xí)模型的輸出較為穩(wěn)定和魯棒。隨后每一幀將進行更加細粒度的分析同時輸出整體幀的評分。評分包含了表情的質(zhì)量或者親吻的分數(shù)。針對親吻場景，算法將對整張圖像進行處理并直接生成評分。對于面部表情識別模型來說，會對每個個體的表情進行識別，并利用了注意力機制對視圖中所有的個體表情進行迭代識別，同為每張臉賦予一定的權(quán)值。這一權(quán)值十分重要，可以對照片中不同部分的主體進行突出和強調(diào)。在此基礎(chǔ)上計算出了用于評價幀質(zhì)量的全局質(zhì)量分數(shù)。

最終，基于注意力分數(shù)的加權(quán)表情評分和親吻評分將用于觸發(fā)相機快門。為了在最佳時刻進行記錄，算法將會進行一定時刻的觀察，并在幀評分超過歷史峰值后按下快門。

智能指示器

人們在利用前視攝像頭拍照的時候，需要與算法進行交互才能調(diào)整自己的表情獲取最佳姿勢。算法同時提供了一個質(zhì)量評分指示器來幫助用戶理解算法的輸出。下圖中可以看到屏幕上方的小白條指示了當(dāng)前算法輸出的評分，主要包括了一下四種情況：視野中沒有清晰人臉；人沒有看相機；看了相機但是表情不到位；表情到位，開拍！為了讓指示器更便于理解，研發(fā)人員讓它在上面的四種情況中依次變換，同時加入了對評分質(zhì)量的平滑避免白條變化過快讓用戶無所適從。最終，當(dāng)指示器的長度達到了高質(zhì)量的水平相機就自動為你記下完美時刻了。

會拍照的才是好手機！相機越來越智能，朋友圈也會越來越美麗。隨著計算機視覺技術(shù)的進步，像這樣貼近生活的實用技術(shù)將越來越多的出現(xiàn)在我們生活中。優(yōu)秀技術(shù)解決生活中的小痛點的微創(chuàng)新將會不斷引領(lǐng)技術(shù)的落地，為人們帶去更加便捷的生活。