近幾年，可嵌入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的新型可微圖形層開始興起。從空間變換器到可微圖形渲染器，這些新型網(wǎng)絡(luò)層利用多年積累的計算機(jī)視覺和圖形學(xué)研究知識來構(gòu)建更高效的新型網(wǎng)絡(luò)架構(gòu)。通過將幾何先驗(yàn)和約束顯式建模到神經(jīng)網(wǎng)絡(luò)中，我們?yōu)槟軌蚋咝Х€(wěn)健地以自監(jiān)督方式（這點(diǎn)更為重要）接受訓(xùn)練的架構(gòu)打開了大門。

總體來看，計算機(jī)圖形管道需要 3D 物體及其在場景中的絕對位置、對物體材質(zhì)的描述、光和攝像頭。然后，渲染器會解譯該場景描述，進(jìn)而生成合成渲染。

與之相比，計算機(jī)視覺系統(tǒng)會從圖像入手，試圖推斷場景的參數(shù)。這可以實(shí)現(xiàn)對場景中的物體，以及對其材質(zhì)、三維位置和方向的預(yù)測。

訓(xùn)練能夠解決這些復(fù)雜 3D 視覺任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)通常需要大量數(shù)據(jù)。由于標(biāo)記數(shù)據(jù)是一個成本高昂且復(fù)雜的過程，所以我們必須配備設(shè)計機(jī)器學(xué)習(xí)模型的機(jī)制，以設(shè)計出既能理解三維世界，又在訓(xùn)練時無需太多監(jiān)督的機(jī)器學(xué)習(xí)模型。通過將計算機(jī)視覺和計算機(jī)圖形學(xué)技術(shù)相結(jié)合，我們可以隨時利用大量無標(biāo)記數(shù)據(jù)，這是絕無僅有的好機(jī)會。舉例而言，下圖所示的流程可以通過合成分析實(shí)現(xiàn)，即視覺系統(tǒng)提取場景函數(shù)，然后圖形系統(tǒng)根據(jù)這些函數(shù)返回渲染后的圖像。如果渲染結(jié)果與原始圖像匹配，則說明視覺系統(tǒng)精準(zhǔn)地提取了場景參數(shù)。在該設(shè)置中，計算機(jī)視覺和計算機(jī)圖形學(xué)攜手合作，形成了一個類似自編碼器的機(jī)器學(xué)習(xí)系統(tǒng)，該系統(tǒng)能夠以自監(jiān)督方式進(jìn)行訓(xùn)練。

可微圖形層

接下來，我們將探索 TensorFlow Graphics 的一些可用功能。本次探索之旅并未涵蓋所有內(nèi)容；如需更多信息，請?jiān)L問我們的GitHub，探索 TensorFlow Graphics 推出的新功能。

變換

物體變換可控制物體的空間位置。如下圖所示，利用軸線角形式旋轉(zhuǎn)立方體。旋轉(zhuǎn)軸指向上方，旋轉(zhuǎn)方向?yàn)槟鏁r針，因此立方體以逆時針方向旋轉(zhuǎn)。在此Colab 示例中，我們展示了如何在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練旋轉(zhuǎn)形式，該神經(jīng)網(wǎng)絡(luò)在經(jīng)過訓(xùn)練后用于預(yù)測觀測物體的旋轉(zhuǎn)和平移。這項(xiàng)任務(wù)是很多應(yīng)用的核心，包括專注于與所處環(huán)境進(jìn)行交互的機(jī)器人。在這些場景中，用機(jī)械臂（例如，通過其手柄）抓取物體需要精確估測這些物體相對于機(jī)械臂的位置。

對攝像頭進(jìn)行建模

攝像頭模型在計算機(jī)視覺領(lǐng)域占據(jù)至關(guān)重要的地位，因?yàn)槠鋵θS物體投影到圖像平面的外觀影響極大。如下圖所示，此立方體似乎正在放大和縮小，但事實(shí)上這只是焦距改變帶來的變化。

材質(zhì)

材質(zhì)模型定義光線與物體的交互過程，從而賦予物體獨(dú)特的外觀。例如，某些材質(zhì)（如石膏）會均勻地向各個方向反射光線，而鏡面等其他材質(zhì)只會產(chǎn)生鏡面反射。在此交互式Colab 筆記本中，您將了解如何使用 Tensorflow Graphics 生成以下渲染。您還將有機(jī)會試驗(yàn)材質(zhì)和光線的參數(shù)，充分了解其交互過程。準(zhǔn)確預(yù)測材質(zhì)屬性是許多任務(wù)的基礎(chǔ)。例如，它可以讓用戶在所處環(huán)境中放置虛擬家具，打造室內(nèi)環(huán)境與家具搭配的逼真場景，使用戶能夠準(zhǔn)確感知這件家具的外觀。

幾何學(xué) — 3D 卷積和池化

近年來，以點(diǎn)云或網(wǎng)格形式輸出三維數(shù)據(jù)的傳感器正在逐漸融入我們的日常生活，包括智能手機(jī)深度傳感器、自動駕駛汽車?yán)走_(dá)等等。由于其結(jié)構(gòu)不規(guī)則，在這些表征上執(zhí)行卷積要比在規(guī)則網(wǎng)格結(jié)構(gòu)上困難得多。TensorFlow Graphics 提供兩個 3D 卷積層和一個 3D 池化層，方便開展訓(xùn)練，例如訓(xùn)練網(wǎng)絡(luò)在網(wǎng)格上執(zhí)行對語義部分的分類（如下圖所示）

TensorBoard 3D

可視化調(diào)試是評估實(shí)驗(yàn)是否按正確方向開展的重要方法。為此，TensorFlow Graphics 配備了 TensorBoard 插件，支持以交互方式顯示 3D 網(wǎng)格和點(diǎn)云。