作者：Qijian Zhang， Junhui Hou， Yue Qian

作為 3D 對(duì)象的兩種基本表示方式，2D 多視圖圖像和 3D 點(diǎn)云從視覺外觀和幾何結(jié)構(gòu)的不同方面反映了形狀信息。與基于深度學(xué)習(xí)的 2D 多視圖圖像建模不同，2D 多視圖已經(jīng)在各種 3D 形狀分析任務(wù)中表現(xiàn)出領(lǐng)先的性能，而基于 3D 點(diǎn)云的幾何建模仍然存在學(xué)習(xí)能力不足等問題。在本文中，我們創(chuàng)新性地構(gòu)建了一個(gè)跨模態(tài)知識(shí)遷移的統(tǒng)一架構(gòu)，將 2D 圖像中具有判別性的視覺描述符蒸餾成為 3D 點(diǎn)云的幾何描述符。從技術(shù)上講，在經(jīng)典的 teacher-student學(xué)習(xí)范式下，我們提出了多視圖 vision-to-geometry 蒸餾，由作為teacher的深度 2D 圖像encoder和作為 student的深度 3D 點(diǎn)云encoder組成。為了實(shí)現(xiàn)異構(gòu)特征的對(duì)齊，我們進(jìn)一步提出了可見性感知的特征投影，通過它可以將各點(diǎn) embeddings 聚合成多視圖幾何描述符。對(duì) 3D 形狀分類、部件分割和無(wú)監(jiān)督學(xué)習(xí)進(jìn)行了廣泛實(shí)驗(yàn)，驗(yàn)證了我們方法的優(yōu)越性。我們將會(huì)公開代碼和數(shù)據(jù)。

1 引言

在 3D 數(shù)據(jù)采集和感知方面的一些最新進(jìn)展的促進(jìn)下，基于深度學(xué)習(xí)的 3D 形狀分析在工業(yè)界和學(xué)術(shù)界受到越來(lái)越多的關(guān)注。根據(jù) 3D 形狀模型的不同表征方式，主流的學(xué)習(xí)范式可分為：

基于圖像的

基于體素的

基于點(diǎn)的

目前，3D 形狀理解沒有統(tǒng)一的建模范式，因?yàn)槊糠N方法都有不同的優(yōu)點(diǎn)和局限性。

基于圖像的方法 通過多個(gè)視點(diǎn)渲染出的多視圖 2D 圖像的集合，來(lái)表示 3D 模型。受益于先進(jìn)的圖像建模架構(gòu)，以及大規(guī)模存在豐富標(biāo)注的圖像數(shù)據(jù)集，多視圖學(xué)習(xí)在各種形狀識(shí)別任務(wù)中展示了主導(dǎo)性能。然而，形狀渲染是基于高質(zhì)量的人造的多邊形網(wǎng)格來(lái)實(shí)現(xiàn)的，這些網(wǎng)格不能直接從現(xiàn)實(shí)世界的傳感器或掃描儀中獲得，并且不可避免地會(huì)丟失內(nèi)部的幾何結(jié)構(gòu)和詳細(xì)的空間紋理信息。

基于體素的方法 使用體積網(wǎng)格來(lái)描述 3D 模型的空間占用，這樣標(biāo)準(zhǔn)的 3D 卷積架構(gòu)可以自然地?cái)U(kuò)展到用于特征提取，而無(wú)需額外去開發(fā)特定的學(xué)習(xí)算子。不幸的是，由于計(jì)算復(fù)雜度和內(nèi)存占用的指數(shù)增長(zhǎng)，這種學(xué)習(xí)范式更適合處理低分辨率的volumes，并且需要精心配置的、復(fù)雜的分層 3D 索引結(jié)構(gòu)，用于處理更密集的體素并獲取幾何細(xì)節(jié)信息。

基于點(diǎn)的方法 近年來(lái)，基于點(diǎn)的方法逐漸流行，能直接對(duì)非結(jié)構(gòu)化 3D 點(diǎn)云進(jìn)行操作而無(wú)需任何進(jìn)行預(yù)處理。作為最直接的幾何表征形式，點(diǎn)云是許多 3D 采集設(shè)備的原始輸出，并能夠充分的記錄空間信息。然而，與在規(guī)則網(wǎng)格上定義的圖像和體素不同，點(diǎn)云具有不規(guī)則和無(wú)序的特點(diǎn)，這給特征提取帶來(lái)了很大困難。因此，基于點(diǎn)的學(xué)習(xí)框架仍有很大的性能提升空間。

受基于圖像的視覺建模和基于點(diǎn)的幾何建模之間互補(bǔ)特性的啟發(fā)，本文探索了從強(qiáng)大的深度圖像encoders中提取的知識(shí)遷移到深度點(diǎn)encoders，從而提高下游形狀分析任務(wù)的性能。在技術(shù)上，我們創(chuàng)新性地提出了多視圖vision-to-geometry蒸餾（MV-V2GD），這是一種遵循標(biāo)準(zhǔn)的 teacher-student架構(gòu)設(shè)計(jì)的統(tǒng)一處理pipeline，用于跨模態(tài)的知識(shí)遷移。如圖1所示，給定一個(gè) 3D shape，我們將一組多視圖 2D 圖像輸入到teacher分支的預(yù)訓(xùn)練深度 2D 圖像encoder中，進(jìn)而生成多視圖的視覺描述符。而在student分支中，我們將3D點(diǎn)云輸入一個(gè)深度點(diǎn)encoder，進(jìn)而產(chǎn)生高維的per-point embeddings。在相同的相機(jī)位姿下，我們計(jì)算特定視圖的point-wise可見性。在此基礎(chǔ)上，我們生成多視圖的幾何描述符。通過在多視圖視覺和幾何描述符之間執(zhí)行特征對(duì)齊，可以引導(dǎo)student模型學(xué)習(xí)更多有區(qū)分性的point-wise特征，進(jìn)而理解幾何形狀。為了驗(yàn)證提出的 MV-V2GD 框架的有效性，我們選擇了常見的深度點(diǎn)encoder作為 student模型的baseline ，并在三個(gè)benchmark任務(wù)上進(jìn)行了實(shí)驗(yàn)，包括形狀分類、部件分割和無(wú)監(jiān)督學(xué)習(xí)，我們實(shí)現(xiàn)了明顯且穩(wěn)定的性能提升。

總之，本文的主要貢獻(xiàn)有三方面：

? 我們提出了一個(gè)統(tǒng)一的 MV-V2GD 學(xué)習(xí)框架，首次嘗試從多視圖 2D 視覺建模將知識(shí)遷移到 3D 幾何建模，從而進(jìn)行 3D 點(diǎn)云的形狀分析。

? 為了促進(jìn)多視圖visual-geometric特征對(duì)齊，我們特別開發(fā)了一種簡(jiǎn)單而有效的 VAFP 機(jī)制，該機(jī)制將 per-point embeddings聚合到特定視圖的幾何描述符中。

? 在大量下游任務(wù)和baseline模型中，我們觀察到性能的提升很大，這揭示了一種新的用于增強(qiáng)點(diǎn)云網(wǎng)絡(luò)學(xué)習(xí)能力的通用范式。

本文的其余部分安排如下。在第2章中，我們討論了與多視圖 3D 形狀分析、deep set架構(gòu)以及 2D-3D 知識(shí)遷移等密切相關(guān)的研究工作。在第3章中，我們首先在3.1 節(jié)總結(jié)我們提出的方法的工作機(jī)制；在 3.2 節(jié)和3.3 節(jié)分別介紹了主流的深度 2D 圖像和 3D 點(diǎn)encoders的一般形式，且這也基于 3.4節(jié)中我們構(gòu)建的統(tǒng)一的多視圖跨模態(tài)的特征對(duì)齊方案。然后，介紹了一種新穎的 visibility-aware的特征投影機(jī)制（VAFP），它可以較好地生成特定視圖的 visual-geometric表示對(duì)。最后，在3.5節(jié)中我們總結(jié)了總體的訓(xùn)練目標(biāo)和策略。在第4章中，我們報(bào)告了不同baseline的深度點(diǎn)encoders和benchmark任務(wù)的實(shí)驗(yàn)結(jié)果。最后，我們?cè)诘?章中提出了一些批判性的討論，并在第6章中總結(jié)整篇論文。

圖 1 提出的 MV-V2GD 跨模態(tài)知識(shí)遷移框架的總體流程圖，其中包括：一個(gè)預(yù)訓(xùn)練的基于圖像的teacher分支（右），一個(gè)基于點(diǎn)的、通過多視圖特征對(duì)齊進(jìn)行蒸餾的student分支（左）。在訓(xùn)練階段，整個(gè)teacher分支是固定的，用于提供discriminative knowledge。而在測(cè)試階段teacher分支被移除，以便我們僅從點(diǎn)云進(jìn)行推理。

2 相關(guān)工作

多視圖 3D 形狀分析。作為 2D 深度學(xué)習(xí)的擴(kuò)展，多視圖 3D 形狀建模，通常建立在多輸入的 2D 卷積神經(jīng)網(wǎng)絡(luò) （CNNs） 的各種變體之上。由 MVCNN 開創(chuàng)，它輸入從預(yù)定義的相機(jī)位姿渲染出的多視圖圖像，并通過跨視圖的max-pooling來(lái)生成全局的形狀signature。許多后續(xù)的工作，致力于設(shè)計(jì)更高級(jí)的視圖聚合或選擇的策略。GVCNN 構(gòu)建了一個(gè)三級(jí)分層的相關(guān)建模框架，該框架將多視圖描述符自適應(yīng)地分組到不同的簇中。MHBN 和 RelationNet 進(jìn)一步利用patch-level的交互來(lái)豐富視圖間的關(guān)系。RotationNet 將視點(diǎn)索引作為可學(xué)習(xí)的潛在變量，并提出聯(lián)合估計(jì)目標(biāo)姿態(tài)和類別。EMV 提出了一種分組卷積的方法，該方法對(duì)旋轉(zhuǎn)組的離散子群進(jìn)行操作，并提取旋轉(zhuǎn)等變的形狀描述符。最近，View-GCN將多視圖視為圖節(jié)點(diǎn)，從而形成相應(yīng)的視圖graph，在該視圖graph上應(yīng)用圖卷積來(lái)學(xué)習(xí)多視圖關(guān)系。MVTN通過引入可微分渲染來(lái)自適應(yīng)地回歸得到最佳視點(diǎn)，從而實(shí)現(xiàn)端到端訓(xùn)練。

3D 點(diǎn)云的深度學(xué)習(xí)。由 PointNet 率先采用point-wise多層感知機(jī) （MLP），實(shí)現(xiàn)了置換不變的特征提取，并直接在點(diǎn)云上進(jìn)行 3D 幾何建模，這樣的深度集architecture迅速流行。PointNet++繼承了深度 CNN 的設(shè)計(jì)范式，引入了局部鄰域聚合，并采用漸進(jìn)式的下采樣進(jìn)行分層提取。在后來(lái)的工作中，已經(jīng)研究了各種各樣的高專業(yè)化的點(diǎn)卷積算子。通過學(xué)習(xí)核匹配的自適應(yīng)權(quán)重，進(jìn)而來(lái)模仿標(biāo)準(zhǔn)卷積進(jìn)行了更復(fù)雜的點(diǎn)特征聚合策略，進(jìn)而增強(qiáng)網(wǎng)絡(luò)容量。DGCNN 提出了一種基于圖的動(dòng)態(tài)特征更新機(jī)制，可以捕獲全局的上下文信息。探索了基于學(xué)習(xí)的，而不是啟發(fā)式的子集選擇技術(shù)。最近，transformer架構(gòu)也應(yīng)用于點(diǎn)云建模。

2D 和 3D 之間的跨模態(tài)知識(shí)遷移。正如中指出的那樣，盡管知識(shí)蒸餾研究激增，但由于缺乏配對(duì)樣本，在具有明顯模態(tài)差距的跨模態(tài)場(chǎng)景上的研究相對(duì)較少，而當(dāng)在 2D域 和 3D 域之間進(jìn)行時(shí)，這項(xiàng)任務(wù)變得更具挑戰(zhàn)性。xMUDA 提出通過基于pixel-point對(duì)應(yīng)關(guān)系來(lái)對(duì)齊 2D 和 3D 輸出，從單視圖圖像的源域和點(diǎn)云的目標(biāo)域?qū)崿F(xiàn)無(wú)監(jiān)督的域自適應(yīng)。PPKT 構(gòu)建了一個(gè) 3D 預(yù)訓(xùn)練pipeline，將對(duì)比學(xué)習(xí)策略應(yīng)用于正負(fù)像素點(diǎn)對(duì)，從而利用 2D 預(yù)訓(xùn)練知識(shí)。在相反的遷移方向上，Pri3D探索了 3D 引導(dǎo)的對(duì)比預(yù)訓(xùn)練，用于提升 2D 感知方面。除了保持成對(duì)的 2D 像素和 3D 點(diǎn)之間的特征一致性外，這項(xiàng)工作還在于學(xué)習(xí)不變像素描述符，通過從不同視點(diǎn)捕獲的圖像掃描。在 有更靈活的3Dto-2D的蒸餾框架，通過特定維度的歸一化，進(jìn)而對(duì)齊 2D 和 3D CNN 特征的統(tǒng)計(jì)分布。特別地是，為了擺脫對(duì) 2D 和 3D 模態(tài)之間細(xì)粒度對(duì)應(yīng)關(guān)系的依賴，且這些模態(tài)通常獲取成本很高，這項(xiàng)工作還探索了一種語(yǔ)義感知的對(duì)抗訓(xùn)練方案，用來(lái)處理不成對(duì)的 2D 圖像和 3D 體積網(wǎng)格。通常，由于 2D 和 3D 數(shù)據(jù)之間的對(duì)應(yīng)信息的可用性，現(xiàn)有工作主要集中在場(chǎng)景級(jí)別的理解上。目前，據(jù)我們所知，之前沒有關(guān)于形狀分析任務(wù)的跨模態(tài)知識(shí)遷移的研究。

3 提出的方法

3.1 問題概述

我們考慮了兩種互補(bǔ)的 3D 形狀理解的學(xué)習(xí)范式，即由2D多視圖圖像驅(qū)動(dòng)的2D視覺建模和由 3D點(diǎn)云驅(qū)動(dòng)的3D幾何建模。如上所述，由于規(guī)則的數(shù)據(jù)結(jié)構(gòu)和強(qiáng)大的學(xué)習(xí)架構(gòu)，基于圖像的深度模型可以提取 discriminative feature表征，盡管丟失了部分幾何信息。相比之下，3D點(diǎn)云雖然保留了完整的3D幾何結(jié)構(gòu)，但其結(jié)構(gòu)的不規(guī)則性給特征提取帶來(lái)了很大挑戰(zhàn)，因此基于點(diǎn)的深度模型的學(xué)習(xí)能力相對(duì)不足。因此，我們的目標(biāo)是從深度 2D 圖像encoder中提取判別知識(shí)，蒸餾到深度 3D 點(diǎn)encoder中。這實(shí)際上是一個(gè)相當(dāng)具有挑戰(zhàn)性的問題，因?yàn)樵诰W(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)模態(tài)方面存在顯著的域差距。

我們的工作機(jī)制與多模態(tài)融合本質(zhì)上不同。在多模態(tài)融合中，多模態(tài)數(shù)據(jù)在訓(xùn)練和測(cè)試階段都被作為輸入。在功能上，我們強(qiáng)調(diào) MV-V2GD 作為一種通用的學(xué)習(xí)范式，可以自然地應(yīng)用于通用深度點(diǎn)的encoders，用于增強(qiáng)網(wǎng)絡(luò)容量。

3.2 用于 2D 圖像建模的Teacher網(wǎng)絡(luò)

深度卷積架構(gòu)，已經(jīng)展示了從 2D 圖像中學(xué)習(xí)discriminative視覺特征的顯著能力。在大規(guī)模圖像數(shù)據(jù)集上，受益于預(yù)訓(xùn)練的成熟的 2D CNN 的backbone網(wǎng)絡(luò)激增 ，我們可以方便地選擇合適且功能強(qiáng)大的現(xiàn)有深度 2D 圖像encoder作為我們的 2D teacher模型Mt ，它分別將多視圖圖像作為輸入，并相應(yīng)地生成高維卷積特征圖。形式上，我們可以將teacher模型的一般形式表述為：

3.3 3D 點(diǎn)云建模的Student網(wǎng)絡(luò)

與成熟的 2D 圖像建模相比，3D 點(diǎn)云的深度學(xué)習(xí)仍然是一個(gè)新興但快速發(fā)展的研究領(lǐng)域。受限于大規(guī)模形狀數(shù)據(jù)集的稀缺性和 3D 標(biāo)注的難度，當(dāng)前的深度set architectures實(shí)際上還遠(yuǎn)遠(yuǎn)不夠深，為了緩解參數(shù)過擬合，在應(yīng)用于下游任務(wù)時(shí)通常需要從頭開始訓(xùn)練。因此，基于點(diǎn)的學(xué)習(xí)模型，在捕獲discriminative幾何特征表征方面，表現(xiàn)出學(xué)習(xí)能力不足。

圖 2 多視圖可見性checking示意圖。在預(yù)定義的相機(jī)位姿下，我們相應(yīng)地生成了一組多視圖圖像和部分點(diǎn)云，放置在第一行和第二行。在第三行中，我們還提供了從相反的方位角觀察時(shí)，可見點(diǎn)的可視化效果。

我們將深度 3D 點(diǎn)encoder Ms視為 3D student模型，也就是被蒸餾的目標(biāo)。它使用一組不規(guī)則的空間點(diǎn)作為輸入，并產(chǎn)生高維的point-wise embeddings。不失一般性，我們可以將student模型的形式描述為：

3.4 多視圖可見性感知的特征對(duì)齊

通過單個(gè)全連接層 （FC）實(shí)現(xiàn)，實(shí)現(xiàn)了視覺和幾何描述符之間的通道對(duì)齊。在4.4節(jié)，我們驗(yàn)證了 VAFP 驅(qū)動(dòng)的知識(shí)遷移框架，相比于傳統(tǒng)蒸餾范式的優(yōu)越性。

3.5 總體目標(biāo)

4 實(shí)驗(yàn)

我們?cè)u(píng)估了我們提出的 MV-V2GD 框架在三個(gè)應(yīng)用場(chǎng)景中的有效性，即形狀分類（第 4.1 節(jié)）、部件分割（第 4.2 節(jié)）和reconstruction-driven的無(wú)監(jiān)督學(xué)習(xí)（第 4.3 節(jié)）。在每個(gè)小節(jié)中，我們介紹了benchmark數(shù)據(jù)集和數(shù)據(jù)的準(zhǔn)備操作，之后我們提供了teacher和student模型架構(gòu)的主要實(shí)現(xiàn)技術(shù)。最后，我們提供了具體的對(duì)比實(shí)驗(yàn)和性能分析。

4.1 形狀分類

數(shù)據(jù)準(zhǔn)備。ModelNet40 是一個(gè)常見的 3D 對(duì)象數(shù)據(jù)集，包含 12311 個(gè)多邊形網(wǎng)格模型，涵蓋 40 個(gè)人造類別。在官方拆分之后，我們使用 9843 個(gè)形狀數(shù)據(jù)集進(jìn)行訓(xùn)練，其余 2468 個(gè)數(shù)據(jù)集進(jìn)行測(cè)試。

具體來(lái)說(shuō)，我們采用輕量級(jí)的 2D CNN backbone（即 MobileNetV2 ），從輸入的多視圖圖像中提取深度卷積特征和矢量化視覺描述符。此外，除了從單個(gè)的全局形狀signature輸出最終的類別分?jǐn)?shù)（logits）外，我們還傾向于單獨(dú)預(yù)測(cè)來(lái)自所有視圖的形狀類別，通過添加側(cè)輸出的supervisions。

Student網(wǎng)絡(luò)的架構(gòu)。我們選擇了三種具有代表性的深度點(diǎn)云建模架構(gòu)，包括 1） PointNet 、2） PointNet++ 和 3） DGCNN 作為目標(biāo)student點(diǎn)encoder 。此外，我們還嘗試了 CurveNet，一種更新的SOTA學(xué)習(xí)模型。在最初的實(shí)現(xiàn)中，分類頭由三個(gè)全連接層組成，它們將全局形狀signature轉(zhuǎn)換為類別 logits。而在我們所有的實(shí)驗(yàn)中，我們將 統(tǒng)一簡(jiǎn)化為單個(gè)線性層。請(qǐng)注意，在測(cè)試階段，我們沒有采用任何投票技術(shù) ，這些技術(shù)變得非常繁瑣且不穩(wěn)定。

定量結(jié)果。我們?cè)诒?1 中列出了原始模型和蒸餾模型的形狀分類準(zhǔn)確率。作為早期設(shè)計(jì)的簡(jiǎn)單架構(gòu)的工作，PointNet 官方報(bào)告的整體準(zhǔn)確率為 89.2%，這被認(rèn)為遠(yuǎn)不能令人滿意。令人驚訝的是，在 MV-V2GD 的驅(qū)動(dòng)下，該模型的性能甚至比原來(lái)的 PointNet++ 還要好，后者涉及更復(fù)雜的學(xué)習(xí)patterns。得益于增強(qiáng)的建模能力，PointNet++ 在蒸餾后進(jìn)一步達(dá)到了極具競(jìng)爭(zhēng)力的 93.3%。DGCNN 代表了一種常見的強(qiáng)大的graph-style點(diǎn)云建模范式，從 92.9% 提升到 93.7%，性能明顯提升 0.8%。即使對(duì)于SOTA的 CurveNet，我們的方法仍然獲得了令人滿意的性能提升，從 93.8% 提高到 94.1%。。

4.2 部件分割

數(shù)據(jù)準(zhǔn)備。ShapeNetPart 是一個(gè)流行的 3D 對(duì)象的部分分割benchmark數(shù)據(jù)集，它提供了在 16 個(gè)對(duì)象類上定義的 50 個(gè)不同部件類別的語(yǔ)義標(biāo)注。官方拆分后，我們有 14007 個(gè)形狀數(shù)據(jù)集用于訓(xùn)練，其余 2874 個(gè)數(shù)據(jù)集用于測(cè)試。

Teacher分支的架構(gòu)。與許多已經(jīng)存在的成熟的多視圖學(xué)習(xí)框架的形狀分類或檢索相比，基于圖像的形狀分割方面的研究相對(duì)較少。因此，我們?cè)O(shè)計(jì)了一個(gè)標(biāo)準(zhǔn)的單圖像分割架構(gòu)作為teacher分支，如圖4所示。整體的架構(gòu)設(shè)計(jì)遵循經(jīng)典的encoder-decoder pipeline（例如：U-Net ［19］），用來(lái)生成全分辨率分割圖。在這里，teacher分支單獨(dú)使用單視圖的圖像進(jìn)行預(yù)測(cè)，而不是同時(shí)對(duì)同一形狀模型的整組多視圖圖像進(jìn)行分割。因?yàn)槲覀儜{經(jīng)驗(yàn)發(fā)現(xiàn)，這種學(xué)習(xí)范式計(jì)算量大且在訓(xùn)練期間難以收斂。

更具體地說(shuō)，我們選擇 VGG11 作為backbone特征提取器，并移除了最后一個(gè)空間max-pooling層，從而擴(kuò)大了特征圖分辨率。為了增強(qiáng)網(wǎng)絡(luò)容量，我們將 中提出的位置和通道上的attention機(jī)制添加到了原始的卷積階段。然后，通過重建從訓(xùn)練shape渲染得到的視圖圖像，進(jìn)而fine-tune整個(gè)backbone網(wǎng)絡(luò)。遵循之前部件分割框架中的常見做法，我們還集成了一個(gè)分類向量，該向量將輸入圖像的對(duì)象類別，encode到中間視覺描述符中。

Student分支的架構(gòu)。我們?cè)俅尾捎?PointNet、PointNet++ 和 DGCNN 作為student的點(diǎn)encodersMs ，并使用他們初始的head網(wǎng)絡(luò)Hs ，用來(lái)預(yù)測(cè)每個(gè)點(diǎn)的語(yǔ)義標(biāo)簽，而無(wú)需投票。

定量結(jié)果。我們?cè)诒?2 中列出了原始模型和蒸餾模型的部件分割精度。從中我們可以觀察到，我們的方法始終增強(qiáng)了不同類型的深度set architectures。特別是，PointNet 從 83.7% 提高到 85.9%，在 mIoU 方面具有很大的獲益。另外兩個(gè)更強(qiáng)大的學(xué)習(xí)框架，即 PointNet++ 和 DGCNN，也從 MV-V2GD 中受益很多，分別有 1.3% 和 1.7% 的明顯性能提升。

圖 3 用于2D多視圖圖像驅(qū)動(dòng)的形狀分類的的Teacher學(xué)習(xí)分支表 1 ModelNet40 上 3D 形狀分類的總體準(zhǔn)確率 （%）

圖 4 用于 2D 圖像驅(qū)動(dòng)的目標(biāo)部件分割的Teacher學(xué)習(xí)分支

表 2 ShapeNetPart 上目標(biāo)部件分割的實(shí)例平均mIoU（%）

圖 5 用于單視圖圖像重建的 Teacher 學(xué)習(xí)分支

表 3 ModelNet40 上的Transfer分類準(zhǔn)確率 （%）

4.3 無(wú)監(jiān)督學(xué)習(xí)

以前的實(shí)驗(yàn)已經(jīng)證明了 MV-V2GD 在有監(jiān)督學(xué)習(xí)方面的有效性，這需要特定領(lǐng)域的數(shù)據(jù)和標(biāo)注。在本節(jié)中，我們探討了遷移通過無(wú)監(jiān)督特征學(xué)習(xí)獲得的通用 2D 視覺知識(shí)，從而促進(jìn) 3D 幾何建模的可能性。

遵循與 中構(gòu)建的相同開發(fā)協(xié)議（稱為transfer classification），我們首先在源數(shù)據(jù)集（即 ShapeNetCoreV2）上預(yù)訓(xùn)練深度點(diǎn)云 auto-encoder。之后，我們部署預(yù)訓(xùn)練的encoder網(wǎng)絡(luò)，進(jìn)而從不同的目標(biāo)數(shù)據(jù)集（即 ModelNet40 ）生成矢量化的形狀signatures。最后，在目標(biāo)數(shù)據(jù)集上訓(xùn)練線性 SVM 分類器，用來(lái)評(píng)估形狀signatures的判別能力。

數(shù)據(jù)準(zhǔn)備。 ShapeNetCoreV2 ［63］ 是一個(gè)大型 3D 對(duì)象數(shù)據(jù)集，包含 52472 個(gè)多邊形網(wǎng)格模型，涵蓋 55 個(gè)對(duì)象類別。

對(duì)于幾何建模，我們應(yīng)用 PDS，從 ShapeNetCoreV2 數(shù)據(jù)集和 ModelNet40 數(shù)據(jù)集中統(tǒng)一采樣 2048 個(gè)空間點(diǎn)。對(duì)于視覺建模，我們采用了與第 4.2 節(jié)中描述相同的viewpoint配置，進(jìn)而在ShapeNetCoreV2 數(shù)據(jù)集上生成多視圖的圖像渲染。

Teacher 分支的架構(gòu)。如圖 5所示。我們構(gòu)建了一個(gè)標(biāo)準(zhǔn)卷積的 auto-encoder，用于無(wú)監(jiān)督圖像的特征學(xué)習(xí)。在encode階段，我們應(yīng)用了與部件分割實(shí)驗(yàn)中采用的相同的backbone網(wǎng)絡(luò)，將輸入的視圖圖像緊湊地表征為一個(gè)矢量化的形狀signature。在decode階段，我們部署了一個(gè)全連接層來(lái)提升特征維度，以及多階段的反卷積層來(lái)實(shí)現(xiàn)全分辨率的圖像重建。

Student分支的架構(gòu)。我們嘗試了一個(gè)經(jīng)典的點(diǎn)云驅(qū)動(dòng)的無(wú)監(jiān)督幾何特征學(xué)習(xí)的架構(gòu)，即 FoldingNet，作為目標(biāo)student分支。從技術(shù)上講，它將給定的點(diǎn)encodes為一個(gè)緊湊的全局codeword向量，從而驅(qū)動(dòng)隨后的lattice deformation過程，用來(lái)重建輸入的點(diǎn)云。

定量結(jié)果。我們?cè)诒?3 中列出了原始模型和蒸餾模型的transfer classification的準(zhǔn)確率，我們可以觀察到，F(xiàn)oldingNet 從 88.4% 提高到 89.1%。

此外，在沒有特定任務(wù)預(yù)訓(xùn)練的情況下，我們對(duì)遷移從自然圖像統(tǒng)計(jì)中學(xué)習(xí)到的常見視覺線索的潛力感興趣。為此，我們直接部署了在 ImageNet 上預(yù)訓(xùn)練的原始 VGG11 的backbone網(wǎng)絡(luò)，用來(lái)提供teacher知識(shí)，這也增強(qiáng)了目標(biāo)student模型，精度提高了 0.4%。

4.4 額外探索

通過設(shè)計(jì)不同的架構(gòu)變體，并評(píng)估它們?cè)?ModelNet40 上的分類性能，我們進(jìn)行了額外的探索。

超參數(shù)分析。為了全面探索我們的學(xué)習(xí)框架的特點(diǎn)，我們通過調(diào)整兩個(gè)關(guān)鍵的超參數(shù)來(lái)修改原始 MV-V2GD 設(shè)置：1）視點(diǎn)數(shù)量 K ；2）加權(quán)因子Wt （等式 6）。

我們嘗試將原始點(diǎn)云而不是網(wǎng)格直接渲染到多視圖圖像中，以訓(xùn)練教師分支，進(jìn)一步部署為學(xué)生分支提供視覺知識(shí)。圖 6 顯示了基于點(diǎn)的渲染的一些典型視覺示例以及它們的網(wǎng)格驅(qū)動(dòng)對(duì)應(yīng)物。顯然，這種學(xué)習(xí)策略對(duì)于無(wú)法獲得高質(zhì)量的基于網(wǎng)格的幾何表示的應(yīng)用程序更加靈活和實(shí)用。如表 6 所示，該變體在所有蒸餾模型上仍然顯示出令人滿意的性能提升，這證明了我們提出的圖像到點(diǎn)知識(shí)轉(zhuǎn)移范式的普遍性。

基于點(diǎn)的渲染Pipeline。我們嘗試直接使用原始點(diǎn)云而不是網(wǎng)格，將其渲染到多視圖圖像中，從而訓(xùn)練teacher分支，并進(jìn)一步為student分支提供視覺知識(shí)。圖 6 顯示了基于點(diǎn)的渲染的一些典型視覺示例，以及它們的mesh-driven對(duì)應(yīng)物。顯然，對(duì)于無(wú)法獲得高質(zhì)量的基于網(wǎng)格的幾何表征的應(yīng)用程序，這種學(xué)習(xí)策略更加靈活和實(shí)用。如表 6 所示，該變體在所有蒸餾模型上仍然顯示出令人滿意的性能提升，這證明了我們提出的image-to-point知識(shí)遷移范式的普遍性。

從頭開始訓(xùn)練 Teacher 模型。所提出的跨模態(tài)（visual-togeometric）知識(shí)遷移框架的主要優(yōu)點(diǎn)之一是，我們可以方便地利用現(xiàn)成成熟的視覺識(shí)別網(wǎng)絡(luò)，這些網(wǎng)絡(luò)在大規(guī)模帶標(biāo)注的 2D 圖像數(shù)據(jù)集上充分預(yù)訓(xùn)練，例如：ImageNet。一個(gè)更有趣且有前景的問題是，探索 2D 視覺和 3D 幾何建模范式之間的交互機(jī)制本身是否有益。事實(shí)上，在我們的無(wú)監(jiān)督學(xué)習(xí)實(shí)驗(yàn)中，我們?cè)噲D通過從頭開始訓(xùn)練teacher分支來(lái)驗(yàn)證這個(gè)問題，這仍然帶來(lái)了性能提升。在這里，我們進(jìn)一步進(jìn)行了實(shí)驗(yàn)以在有監(jiān)督學(xué)習(xí)場(chǎng)景下加強(qiáng)此類主張。

更具體地說(shuō)，在這個(gè)基于點(diǎn)的渲染實(shí)驗(yàn)中，我們保持所有的開發(fā)協(xié)議不變。除了，我們沒有為teacher分支的backbone網(wǎng)絡(luò)加載 ImageNet 預(yù)訓(xùn)練權(quán)重。定量結(jié)果如表 7 所示，從中我們可以驚奇地觀察到，在點(diǎn)云渲染上，完全從頭開始訓(xùn)練teacher分支仍然顯示出極具競(jìng)爭(zhēng)力的性能，甚至優(yōu)于其在 PointNet ［11］ 上的 ImageNet 預(yù)訓(xùn)練和mesh-driven對(duì)應(yīng)物。這種現(xiàn)象有力地證明了，所提出的visual-geometric學(xué)習(xí)范式的巨大潛力。

表 4 不同的渲染視點(diǎn)數(shù)量 （K） 的影響。

表 5 不同加權(quán)方案 （） 對(duì)訓(xùn)練目標(biāo)的影響

圖 6 基于網(wǎng)格和基于點(diǎn)的渲染結(jié)果的可視化示例傳統(tǒng)蒸餾范式的適應(yīng)。為了揭示我們方法的必要性和優(yōu)越性，我們進(jìn)一步設(shè)計(jì)了兩個(gè)baseline知識(shí)遷移pipelines，它們直接改編自經(jīng)典的基于響應(yīng)的 ［53］ 和基于特征的 ［64］ 蒸餾范式。第一個(gè)baseline旨在對(duì)齊從teacher分支和student分支的最后一層輸出的最終類 logits，我們稱之為 Lgt-V2GD。第二個(gè)baseline稱為 Ftr-V2GD，它專注于feature-level的指導(dǎo)，通過對(duì)齊矢量化的全局視覺和幾何描述符，然后將它們輸入到后續(xù)的全連接分類器。我們?cè)诒?8 中列出了不同baseline框架的性能，并通過結(jié)合表 1 中報(bào)告的相應(yīng)實(shí)驗(yàn)結(jié)果，觀察了一致性趨勢(shì)的幾個(gè)方面。

首先，我們的實(shí)驗(yàn)結(jié)果強(qiáng)烈表明，vision-to-geometry知識(shí)遷移，提供了一種增強(qiáng)點(diǎn)云學(xué)習(xí)模型的通用且穩(wěn)定的方法。即使是最直接的蒸餾框架 （Lgt-V2GD） ，也會(huì)在所有實(shí)驗(yàn)setups中獲得不同程度的性能提升。其次，特征級(jí)的teacher指導(dǎo)往往比軟目標(biāo)（即 logits）提供更多信息，因?yàn)槲覀儼l(fā)現(xiàn) Ftr-V2GD 總是優(yōu)于 LgtV2GD。第三，在我們提出的 MV-V2GD 處理pipeline下，考慮到所有蒸餾模型的性能顯著提升，許多現(xiàn)有點(diǎn)云學(xué)習(xí)框架的建模能力可能被低估了。

表 6 從原始點(diǎn)云渲染多視圖圖像的有效性

表 7 ModelNet40 上 3D 形狀分類的總體準(zhǔn)確率 （%），其中teacher模型是從頭開始訓(xùn)練的（即，未加載 ImageNet 預(yù)訓(xùn)練的權(quán)重）

表 8 logit-driven和feature-driven的蒸餾baselines的比較。

5 討論在本節(jié)中，我們重新強(qiáng)調(diào)了我們?cè)谠O(shè)計(jì)整體處理流程時(shí)的核心動(dòng)機(jī)和原則，以及我們論文帶來(lái)的新見解，在此基礎(chǔ)上，我們簡(jiǎn)要討論了未來(lái)工作中可能的擴(kuò)展。

最終，本文重點(diǎn)揭示了將知識(shí)從 2D 視覺領(lǐng)域遷移到 3D 幾何領(lǐng)域的潛力。因此，我們避免在整個(gè)工作流程中設(shè)計(jì)復(fù)雜的學(xué)習(xí)架構(gòu)或策略，因?yàn)槲覀兿嘈藕?jiǎn)潔的技術(shù)實(shí)現(xiàn)和穩(wěn)定的性能提升可以有力地證明我們方法的價(jià)值。可以預(yù)期，更先進(jìn)的多視圖 visual-geometric特征對(duì)齊技術(shù)，以及蒸餾目標(biāo)將進(jìn)一步增強(qiáng)當(dāng)前的 MV-V2GD 框架。

在實(shí)驗(yàn)setups方面，我們注意到現(xiàn)有的多視圖學(xué)習(xí)方法主要針對(duì)全局幾何建模任務(wù)，例如分類和檢索。由于特定領(lǐng)域的數(shù)據(jù)集準(zhǔn)備不便，而該工作將應(yīng)用場(chǎng)景擴(kuò)展到部件分割和無(wú)監(jiān)督學(xué)習(xí)，形成了更全面的評(píng)估協(xié)議。

更重要的是，我們令人鼓舞的結(jié)果激勵(lì)了研究和開發(fā)人員，在模型設(shè)計(jì)之外更加關(guān)注數(shù)據(jù)開發(fā)。考慮到大規(guī)模豐富標(biāo)注的 2D 視覺數(shù)據(jù)的可用性，以及 3D 幾何對(duì)應(yīng)物的稀缺性，通過 image-to-point蒸餾來(lái)增強(qiáng)點(diǎn)云學(xué)習(xí)模型，這是一種非常有前景且低成本的方法。

6 結(jié)論

在本文中，我們最先嘗試并探索了將跨模態(tài)知識(shí)從多視圖 2D 視覺建模遷移到 3D 幾何建模，從而促進(jìn) 3D 點(diǎn)云形狀的理解。在技術(shù)上，我們研究了一個(gè)統(tǒng)一的 MV-V2GD 學(xué)習(xí)pipeline，適用于常見類型的、基于深度 3D 點(diǎn)云的學(xué)習(xí)范式，并專門定制了一種新穎的 VAFP 機(jī)制來(lái)實(shí)現(xiàn)多視圖圖像和點(diǎn)云之間的異構(gòu)特征對(duì)齊。在各種應(yīng)用上的大量實(shí)驗(yàn)，有力地證明了我們方法的優(yōu)越性、普遍性和穩(wěn)定性。我們相信，我們的工作將為發(fā)展強(qiáng)大的深度set architectures開辟新的可能性，并促使沿著這個(gè)有前景的方向進(jìn)行更多的探索。

審核編輯：郭婷