如今的智能手機(jī)必須提供許多吸引用戶的功能，尤其是要滿足對(duì)高質(zhì)量攝影效果，以及日益增長(zhǎng)的增強(qiáng)現(xiàn)實(shí)（AR）/混合現(xiàn)實(shí)（MR）功能需求。據(jù)麥姆斯咨詢介紹，英飛凌（Infineon）基于pmd technologies的飛行時(shí)間（ToF）像素技術(shù)開發(fā)了新款長(zhǎng)距離3D ToF圖像傳感器，可以滿足上述攝影和AR/MR的需求。

購(gòu)買新款智能手機(jī)時(shí)，消費(fèi)者越來越重視手機(jī)攝像頭。一方面，他們想要拍攝高質(zhì)量的照片和視頻；另一方面，他們希望全面的增強(qiáng)現(xiàn)實(shí)功能，以支持AR/MR游戲領(lǐng)域中的新興和高級(jí)的應(yīng)用功能。因此，智能手機(jī)的攝像頭已經(jīng)成為購(gòu)買過程中的決定性要素，并且無論在商業(yè)、教育還是工業(yè)應(yīng)用中，智能手機(jī)的攝像頭都必須能夠?qū)F(xiàn)實(shí)世界與數(shù)字世界聯(lián)系起來。集成飛行時(shí)間（ToF）圖像傳感器的3D攝像頭正好可以具備此項(xiàng)能力！

過去幾年，智能手機(jī)3D攝像頭的開發(fā)主要集中在手機(jī)正面。因?yàn)榍爸脭z像頭對(duì)于各種高安全性和便利性應(yīng)用至關(guān)重要。例如，前置3D攝像頭用于高級(jí)安全功能——3D人臉識(shí)別以及應(yīng)用解鎖和移動(dòng)支付。此外，前置3D攝像頭還可用于3D虛擬化身、社交媒體交互和具有特殊深度效果的攝影美化。上述功能促進(jìn)了3D攝像頭在手機(jī)正面的部署應(yīng)用，目前這一趨勢(shì)現(xiàn)已在市場(chǎng)上確立。

同時(shí)，具有專業(yè)品質(zhì)和沉浸式AR/MR體驗(yàn)的計(jì)算攝影將成為推動(dòng)智能手機(jī)發(fā)展的下一個(gè)游戲規(guī)則變革者，并為在智能手機(jī)背面采用3D攝像頭提供重要機(jī)遇。這也將引發(fā)無數(shù)此類新應(yīng)用的誕生，從而將進(jìn)一步推動(dòng)后置3D攝像頭的發(fā)展。根據(jù)Strategy Analytics預(yù)測(cè)，2025年智能手機(jī)后置ToF攝像頭市場(chǎng)出貨量將超過5億個(gè)（如圖1所示）。

圖1 智能手機(jī)后置3D ToF攝像頭市場(chǎng)預(yù)測(cè)

然而，目前AR/MR應(yīng)用仍然非常有限。幾年前在游戲和3D設(shè)計(jì)中普及的AR應(yīng)用，用戶在其中將虛擬角色或?qū)ο蠓胖迷趫?chǎng)景中的某處，通常只不過是將計(jì)算機(jī)生成的視覺效果疊加到物理環(huán)境上——利用數(shù)字細(xì)節(jié)補(bǔ)充現(xiàn)實(shí)世界，從而產(chǎn)生有限或不沉浸的用戶體驗(yàn)。在這種情況下，兩個(gè)關(guān)鍵要素只是集成攝像頭的手機(jī)和帶有合適算法的AR應(yīng)用程序（App）——用于計(jì)算圖像并將其投影到手機(jī)屏幕上的場(chǎng)景中。但是，真正的MR將現(xiàn)實(shí)世界與數(shù)字元素融合在一起，使它們可以實(shí)時(shí)交互和融合。MR可以實(shí)現(xiàn)虛擬對(duì)象與真實(shí)對(duì)象之間更高程度的沉浸和無處不在的交互，并將虛擬圖像完美地渲染到現(xiàn)實(shí)世界中。MR需要在所有光照條件下實(shí)時(shí)準(zhǔn)確地獲取3D深度數(shù)據(jù)，并且對(duì)處理能力的要求比帶有圖像疊加的簡(jiǎn)單AR效果要高得多。基于3D傳感技術(shù)的解決方案由于提供了2D攝像頭無法提供的深度細(xì)節(jié)，因而備受關(guān)注。盡管如此，但仍然存在挑戰(zhàn)——因?yàn)楫?dāng)前部署3D傳感解決方案的智能手機(jī)尚無法在不對(duì)測(cè)距范圍和功耗進(jìn)行重大折衷的情況下提供理想的分辨率。

英飛凌REAL3產(chǎn)品組合中最新一代的3D ToF圖像傳感器現(xiàn)已解決了上述缺點(diǎn)。在詳細(xì)解釋這種新器件的優(yōu)點(diǎn)之前，讓我們先看看ToF原理。

基于ToF原理的3D圖像傳感器

英飛凌新型REAL3 3D ToF圖像傳感器芯片利用紅外光，并采用飛行時(shí)間工作原理（圖2）。

圖2 英飛凌REAL3 3D ToF圖像傳感器的工作原理

智能手機(jī)3D攝像頭的照明系統(tǒng)將通常在幾十兆赫茲范圍內(nèi)調(diào)制的紅外光發(fā)射到物體上，然后紅外光再反射回來被3D ToF圖像傳感器接收。3D ToF圖像傳感器的每個(gè)單獨(dú)像素都測(cè)量由照明系統(tǒng)發(fā)出的調(diào)制紅外光經(jīng)物體反射回來的傳播時(shí)間。由于3D ToF圖像傳感器的每個(gè)像素都配備一個(gè)微透鏡，因此大部分入射光被引導(dǎo)到像素的敏感區(qū)域：實(shí)際上，在非活動(dòng)表面上幾乎沒有光能損失，并且光學(xué)像素的靈敏度明顯更高。最后，利用算法處理測(cè)得的數(shù)據(jù)，以檢測(cè)物體的距離、大小、運(yùn)動(dòng)和形狀，并在此基礎(chǔ)上創(chuàng)建精確的3D模型。

英飛凌與專注于ToF技術(shù)的德國(guó)公司pmd technologies一起開發(fā)了REAL3 3D ToF圖像傳感器系列。到目前為止，只有少數(shù)公司成功地將合適的3D ToF解決方案推向了市場(chǎng)，因?yàn)檫@需要廣泛的系統(tǒng)能力和對(duì)ToF技術(shù)的深刻理解。英飛凌和pmd technologies自2013年以來通力合作，一直處于ToF技術(shù)的前沿領(lǐng)域。他們共同開發(fā)了五代3D ToF圖像傳感器，這些ToF傳感器已應(yīng)用于多款智能手機(jī)、AR設(shè)備、智能家居、工業(yè)相機(jī)和汽車。

與之前的3D ToF圖像傳感器相比，第六代REAL3 3D ToF圖像傳感器經(jīng)過專門優(yōu)化，可以解決智能手機(jī)的痛點(diǎn)，從而增強(qiáng)拍照效果和AR/MR功能。該傳感器比前幾代產(chǎn)品能耗降低40%，從而提高了智能手機(jī)的電池使用壽命。這是AR/MR游戲的關(guān)鍵，例如ToF攝像頭長(zhǎng)時(shí)間處于開啟狀態(tài)。由于具有較高的SoC集成度，因此采用這種新款3D ToF圖像傳感器的攝像頭設(shè)計(jì)可以縮小35%，從而為智能手機(jī)設(shè)計(jì)提供了更大的自由度，進(jìn)而提高了成本效率。最后，新款3D ToF圖像傳感器及系統(tǒng)旨在提供最遠(yuǎn)10米的深度數(shù)據(jù)，并且不會(huì)在短距離內(nèi)損失高分辨率（圖3）。

圖3 英飛凌新款長(zhǎng)距離REAL3 3D ToF圖像傳感器應(yīng)用

為了達(dá)到10米的測(cè)量距離，必須顯著改變發(fā)射光的調(diào)制方法（圖4）。

圖4 可以使用兩個(gè)調(diào)制頻率精確測(cè)量距離

ToF攝像頭照明系統(tǒng)投射的紅外光調(diào)制頻率與深度質(zhì)量/精度有關(guān)。調(diào)制頻率越高，深度質(zhì)量越好，但是同時(shí)無歧義范圍（UR）也會(huì)縮小。因此，高深度精度需要高調(diào)制頻率，但是對(duì)于較長(zhǎng)的無歧義范圍，則需要較低的調(diào)制頻率。為了解決此問題，REAL3 3D ToF圖像傳感器使用兩個(gè)不同的調(diào)制頻率。這意味著對(duì)于每個(gè)頻率都進(jìn)行距離測(cè)量，然后將兩個(gè)頻率的測(cè)量值進(jìn)行比較以確定物體的準(zhǔn)確位置。這樣可以將測(cè)量范圍擴(kuò)展到每個(gè)調(diào)制頻率的無歧義范圍之外。所有這些步驟都是通過pmd technologies的復(fù)雜ToF攝像頭驅(qū)動(dòng)軟件完成的。

英飛凌最新一代3D ToF圖像傳感器和相關(guān)VCSEL驅(qū)動(dòng)芯片使得3D成像系統(tǒng)能夠采用比之前更高的調(diào)制頻率對(duì)（modulation frequency pairs）。通過這種方式，深度精度得到提高，并且同時(shí)可以在長(zhǎng)達(dá)10米的范圍內(nèi)高質(zhì)量地掃描周圍環(huán)境。在高達(dá)5米的距離處，甚至可以獲得4萬個(gè)深度點(diǎn)的高分辨率圖像（圖5）。

圖5 英飛凌新款遠(yuǎn)距離REAL3 3D ToF圖像傳感器可提供靈活且卓越的分辨率，以在更遠(yuǎn)的距離范圍內(nèi)改善AR/MR體驗(yàn)

相比之下，市場(chǎng)上其它可用的3D傳感解決方案只能在5米距離提供約600個(gè)深度點(diǎn)的分辨率，這意味著無法解決小物體的感知。憑借如此高的測(cè)距范圍和分辨率，英飛凌的3D ToF圖像傳感器系列適用于各種AR/MR應(yīng)用：無論是AR/MR游戲、房間和物體的3D掃描，還是家具設(shè)計(jì)和其它設(shè)計(jì)應(yīng)用的3D成像。

此外，諸如智能手機(jī)AR游戲之類的“始終在線（always-on）”應(yīng)用程序尤其受益于英飛凌新款3D ToF圖像傳感器的低功耗。在新一代產(chǎn)品中，功耗已降低了40%，這意味著智能手機(jī)的電池運(yùn)行時(shí)間將大大延長(zhǎng)。

在所有環(huán)境光條件下提供準(zhǔn)確可靠的深度數(shù)據(jù)

英飛凌REAL3 3D ToF圖像傳感器還有另一個(gè)重要優(yōu)勢(shì)——它們?cè)谒协h(huán)境照明條件下都可以提供準(zhǔn)確可靠的深度數(shù)據(jù)。這意味著即使在復(fù)雜的環(huán)境光條件下也可以生成高質(zhì)量的深度數(shù)據(jù)。這一點(diǎn)變得越來越重要，尤其是在現(xiàn)代攝影中。為此，pmd technologies專門開發(fā)了一種專利電路，該電路集成在每個(gè)像素中，稱為“背景照明抑制（Suppression of Background Illumination，SBI）”。SBI擴(kuò)展了ToF圖像傳感器芯片的動(dòng)態(tài)性能，并降低了由環(huán)境光（例如陽光直射）引起的像素飽和。

弱光條件是2D攝像頭最具挑戰(zhàn)性的環(huán)境之一，并且會(huì)阻止高質(zhì)量的夜間模式人像和快速自動(dòng)對(duì)焦。圖6顯示了ToF輔助弱光條件下的人像拍攝案例，該人像具有完美的背景虛化效果。ToF輔助人像拍攝的背后秘密是新型3D ToF圖像傳感器還可以創(chuàng)建場(chǎng)景的夜視圖像，該圖像以灰度圖顯示。

圖6 在弱光條件下，英飛凌REAL3 3D ToF圖像傳感器實(shí)現(xiàn)具有完美背景虛化效果的ToF輔助人像拍攝

除了深度數(shù)據(jù)之外，ToF圖像傳感器的灰度數(shù)據(jù)也可以應(yīng)用。同樣，分辨率也是關(guān)鍵：英飛凌新款3D ToF圖像傳感器提供清晰的夜視圖像，而同類應(yīng)用中的其它商業(yè)解決方案僅提供數(shù)百個(gè)像素。圖6的中間顯示了所拍攝人像的灰度圖和深度圖，左側(cè)圖像顯示了沒有ToF輔助的2D人像照片，右側(cè)顯示了利用灰度圖和深度圖創(chuàng)建的背景虛化的人像照片。

最后，ToF輔助人像拍攝功能可以實(shí)現(xiàn)非常高效的圖像處理，因此美化效果也可以實(shí)時(shí)應(yīng)用于視頻流?？傊?，在適當(dāng)設(shè)計(jì)的3D攝像頭系統(tǒng)中，英飛凌3D ToF圖像傳感器可確保在所有環(huán)境光條件下（無論是在強(qiáng)烈的陽光照射下，還是在黑暗之中，抑或是在建筑物內(nèi)或車內(nèi)）都能夠可靠地工作。

用戶還可以通過I2C接口動(dòng)態(tài)配置3D ToF圖像傳感器。因此，在操作期間，幀率可以像曝光時(shí)間或預(yù)定義的操作模式一樣輕松地調(diào)整，從而實(shí)現(xiàn)針對(duì)照明和操作環(huán)境進(jìn)行功能優(yōu)化。此外，智能電源管理可確保低功耗。借助3D ToF圖像傳感器，ToF攝像頭可以在生產(chǎn)結(jié)束后數(shù)秒內(nèi)可靠地校準(zhǔn)。

英飛凌新款長(zhǎng)距離REAL3 3D ToF圖像傳感器尺寸僅為4.4mm x 4.8mm，因此在電路板空間有限的情況下，它是緊湊型3D攝像頭設(shè)計(jì)的理想解決方案。得益于高度集成的CMOS圖像傳感器和英飛凌VCSEL驅(qū)動(dòng)芯片，英飛凌3D攝像頭方案使用的組件數(shù)量少于其它商用3D攝像頭方案，這也大大降低了3D攝像頭的成本。3D ToF圖像傳感器特性（例如編碼調(diào)制）和配置靈活性還為各種應(yīng)用和多攝像頭場(chǎng)景提供了改進(jìn)的性能和魯棒性。性能、低功耗、功能、尺寸和低成本的結(jié)合使3D ToF圖像傳感器特別適合于移動(dòng)設(shè)備的3D攝像頭應(yīng)用。

英飛凌新款REAL3 3D ToF圖像傳感器的高級(jí)配置性提供了差異化的3D攝像頭性能，以支持不同的測(cè)距范圍、不同的環(huán)境光條件和不同的使用情況。根據(jù)應(yīng)用需求，該傳感器可實(shí)現(xiàn)以下功能：實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)、遠(yuǎn)程掃描、小物體重建、低功耗的快速自動(dòng)對(duì)焦和圖像分割。這使得諸如視頻和圖像中的背景虛化等效果易于實(shí)現(xiàn)，并且與照明條件無關(guān)，無需對(duì)圖像進(jìn)行復(fù)雜的后處理。

據(jù)麥姆斯咨詢介紹，作為一家全球領(lǐng)先的半導(dǎo)體制造商，英飛凌為移動(dòng)和其它消費(fèi)類應(yīng)用提供REAL3 3D ToF圖像傳感器產(chǎn)品組合（如裸芯片），而系統(tǒng)設(shè)計(jì)及廣泛的應(yīng)用需求則由設(shè)計(jì)合作伙伴負(fù)責(zé)。pmd technologies提供適用于全系列REAL3 3D ToF圖像傳感器的攝像頭驅(qū)動(dòng)軟件——通過全面且通用的API輕松實(shí)現(xiàn)3D ToF圖像傳感器配置。新款3D ToF圖像傳感器芯片的批量供貨將于2021年第二季度開始。目前，3D ToF圖像傳感器演示套件已經(jīng)可以提供。

總結(jié)

英飛凌與pmd technologies合作開發(fā)的新一代3D ToF圖像傳感器適用于多種應(yīng)用領(lǐng)域，例如實(shí)時(shí)混合現(xiàn)實(shí)、增強(qiáng)攝影、3D對(duì)象掃描和房間重建。無論環(huán)境光條件如何，都可以輕松實(shí)現(xiàn)視頻和運(yùn)動(dòng)場(chǎng)景圖像的背景虛化等效果。此外，可以在長(zhǎng)達(dá)10米的距離內(nèi)進(jìn)行高質(zhì)量的深度數(shù)據(jù)采集，并且不會(huì)在較短距離內(nèi)損失分辨率。

智能手機(jī)中的“始終在線（always-on）”應(yīng)用程序（例如混合現(xiàn)實(shí)游戲）受益于新款3D ToF圖像傳感器的低功耗，可為用戶提供了更長(zhǎng)的運(yùn)行時(shí)間。在用于房間和對(duì)象重建的3D掃描等應(yīng)用中，以及在建筑和工業(yè)室內(nèi)設(shè)計(jì)等應(yīng)用中，基于新款3D ToF圖像傳感器的解決方案的測(cè)量范圍是其它商用解決方案的兩倍。

原文標(biāo)題：英飛凌新款ToF圖像傳感器實(shí)現(xiàn)先進(jìn)的攝影技術(shù)和身臨其境的AR/MR體驗(yàn)

文章出處：【微信公眾號(hào)：MEMS】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq