近幾年，可嵌入到神經(jīng)網(wǎng)絡架構中的新型可微圖形層開始興起。從空間變換器到可微圖形渲染器，這些新型網(wǎng)絡層利用多年積累的計算機視覺和圖形學研究知識來構建更高效的新型網(wǎng)絡架構。通過將幾何先驗和約束顯式建模到神經(jīng)網(wǎng)絡中，我們?yōu)槟軌蚋咝Х€(wěn)健地以自監(jiān)督方式（這點更為重要）接受訓練的架構打開了大門。

總體來看，計算機圖形管道需要 3D 物體及其在場景中的絕對位置、對物體材質的描述、光和攝像頭。然后，渲染器會解譯該場景描述，進而生成合成渲染。

與之相比，計算機視覺系統(tǒng)會從圖像入手，試圖推斷場景的參數(shù)。這可以實現(xiàn)對場景中的物體，以及對其材質、三維位置和方向的預測。

訓練能夠解決這些復雜 3D 視覺任務的機器學習系統(tǒng)通常需要大量數(shù)據(jù)。由于標記數(shù)據(jù)是一個成本高昂且復雜的過程，所以我們必須配備設計機器學習模型的機制，以設計出既能理解三維世界，又在訓練時無需太多監(jiān)督的機器學習模型。通過將計算機視覺和計算機圖形學技術相結合，我們可以隨時利用大量無標記數(shù)據(jù)，這是絕無僅有的好機會。舉例而言，下圖所示的流程可以通過合成分析實現(xiàn)，即視覺系統(tǒng)提取場景函數(shù)，然后圖形系統(tǒng)根據(jù)這些函數(shù)返回渲染后的圖像。如果渲染結果與原始圖像匹配，則說明視覺系統(tǒng)精準地提取了場景參數(shù)。在該設置中，計算機視覺和計算機圖形學攜手合作，形成了一個類似自編碼器的機器學習系統(tǒng)，該系統(tǒng)能夠以自監(jiān)督方式進行訓練。

可微圖形層

接下來，我們將探索 TensorFlow Graphics 的一些可用功能。本次探索之旅并未涵蓋所有內容；如需更多信息，請訪問我們的GitHub，探索 TensorFlow Graphics 推出的新功能。

變換

物體變換可控制物體的空間位置。如下圖所示，利用軸線角形式旋轉立方體。旋轉軸指向上方，旋轉方向為逆時針，因此立方體以逆時針方向旋轉。在此Colab 示例中，我們展示了如何在神經(jīng)網(wǎng)絡中訓練旋轉形式，該神經(jīng)網(wǎng)絡在經(jīng)過訓練后用于預測觀測物體的旋轉和平移。這項任務是很多應用的核心，包括專注于與所處環(huán)境進行交互的機器人。在這些場景中，用機械臂（例如，通過其手柄）抓取物體需要精確估測這些物體相對于機械臂的位置。

對攝像頭進行建模

攝像頭模型在計算機視覺領域占據(jù)至關重要的地位，因為其對三維物體投影到圖像平面的外觀影響極大。如下圖所示，此立方體似乎正在放大和縮小，但事實上這只是焦距改變帶來的變化。

材質

材質模型定義光線與物體的交互過程，從而賦予物體獨特的外觀。例如，某些材質（如石膏）會均勻地向各個方向反射光線，而鏡面等其他材質只會產(chǎn)生鏡面反射。在此交互式Colab 筆記本中，您將了解如何使用 Tensorflow Graphics 生成以下渲染。您還將有機會試驗材質和光線的參數(shù)，充分了解其交互過程。準確預測材質屬性是許多任務的基礎。例如，它可以讓用戶在所處環(huán)境中放置虛擬家具，打造室內環(huán)境與家具搭配的逼真場景，使用戶能夠準確感知這件家具的外觀。

幾何學 — 3D 卷積和池化

近年來，以點云或網(wǎng)格形式輸出三維數(shù)據(jù)的傳感器正在逐漸融入我們的日常生活，包括智能手機深度傳感器、自動駕駛汽車雷達等等。由于其結構不規(guī)則，在這些表征上執(zhí)行卷積要比在規(guī)則網(wǎng)格結構上困難得多。TensorFlow Graphics 提供兩個 3D 卷積層和一個 3D 池化層，方便開展訓練，例如訓練網(wǎng)絡在網(wǎng)格上執(zhí)行對語義部分的分類（如下圖所示）

TensorBoard 3D

可視化調試是評估實驗是否按正確方向開展的重要方法。為此，TensorFlow Graphics 配備了 TensorBoard 插件，支持以交互方式顯示 3D 網(wǎng)格和點云。