可靠的圖像理解系統(tǒng)對(duì)于自動(dòng)駕駛、醫(yī)學(xué)成像等應(yīng)用至關(guān)重要。對(duì)抗樣本被認(rèn)為是一種有針對(duì)性的小型擾動(dòng)。約克大學(xué)和多倫多大學(xué)的研究者在本文中展示了另一種擾動(dòng)。與對(duì)抗樣本相反，這些擾動(dòng)不受范數(shù)的約束。它們把一幅圖像中的物體放置（「移植」）到另一幅圖像的新位置。這種做法對(duì)目標(biāo)檢測(cè)器的結(jié)果有多種非局部影響，比如房間里走動(dòng)的大象讓目標(biāo)檢測(cè)器把沙發(fā)認(rèn)成椅子，或讓杯子、書(shū)消失。本文通過(guò)一系列實(shí)驗(yàn)證明了這一點(diǎn)，并提出了一些可能的解釋。

Gary Marcus 在其推特上評(píng)論道：這個(gè)針對(duì)機(jī)器學(xué)習(xí)系統(tǒng)魯棒性的技術(shù)問(wèn)題給自駕汽車(chē)的實(shí)現(xiàn)提出了相當(dāng)大的挑戰(zhàn)。

實(shí)驗(yàn)

作者從一些定性結(jié)果開(kāi)始。圖 1（a）展示了一種當(dāng)前最優(yōu)目標(biāo)檢測(cè)方法（具備 NASNet 骨干網(wǎng)絡(luò) [20] 的 Faster-RCNN [9]）應(yīng)用于來(lái)自 Microsoft COCO 目標(biāo)檢測(cè)基準(zhǔn) [6] 的客廳圖像的結(jié)果，目標(biāo)檢測(cè)器是在該基準(zhǔn)數(shù)據(jù)集上訓(xùn)練的。作者利用真實(shí)數(shù)據(jù)，從另一幅圖像中提取了一個(gè)目標(biāo)（大象）及其掩碼，并將其「移植」到客廳圖像的不同位置上。作者把移植的目標(biāo)稱(chēng)為 T。結(jié)果可以在圖 1 b-i 中看到。當(dāng)目標(biāo) T 沿著圖像平移時(shí)，作者發(fā)現(xiàn)了幾個(gè)有趣的現(xiàn)象：

檢測(cè)不穩(wěn)定：目標(biāo)有時(shí)無(wú)法被檢測(cè)到，或者能夠被檢測(cè)到但置信度出現(xiàn)急劇變化。

目標(biāo) T 被檢測(cè)到的身份不一致（在圖 1-f 中被當(dāng)成椅子）：根據(jù)位置變化，目標(biāo)可能被檢測(cè)為各種不同的東西。

目標(biāo)帶來(lái)非局部影響：未與 T 重疊的目標(biāo)可能會(huì)變換類(lèi)別、邊界框，或者完全消失。

圖 1：在房間中檢測(cè)一只大象。（a）：當(dāng)前最優(yōu)目標(biāo)檢測(cè)器在客廳圖像里檢測(cè)到多個(gè)目標(biāo)；（b,d,e,g,i）：移植的目標(biāo)（大象）在很多情況下和任意位置未被檢測(cè)到;（f）：目標(biāo)類(lèi)別被誤認(rèn)為是「椅子」。該目標(biāo)（大象）具有非局部影響，導(dǎo)致其它目標(biāo)消失（圖 d、f 中的杯子，e、i 中的書(shū)）或變換類(lèi)別（圖 e 中的椅子被誤認(rèn)為是沙發(fā)）。

論文：The Elephant in the Room

論文鏈接：https://arxiv.org/abs/1808.03305

摘要：我們展示了一系列當(dāng)前最優(yōu)目標(biāo)檢測(cè)器的常見(jiàn)故障。這些故障是通過(guò)用包含訓(xùn)練目標(biāo)的另一個(gè)子圖像替換圖像子區(qū)域而獲得的。我們將這種做法稱(chēng)為「目標(biāo)移植」（object transplanting）。結(jié)果表明，以這種方式修改圖像會(huì)對(duì)目標(biāo)檢測(cè)造成非局部影響。根據(jù)目標(biāo)檢測(cè)器的結(jié)果，目標(biāo)位置的微小變化會(huì)影響目標(biāo)以及圖像中其他對(duì)象的類(lèi)別確認(rèn)。對(duì)此，我們提供了一些分析，并提出了一些可能的解釋。

實(shí)驗(yàn)中采用的圖像均來(lái)自 MS-COCO 數(shù)據(jù)集 2017 版的驗(yàn)證集。除非另有說(shuō)明，我們采用的所有模型均來(lái)自 Tensorflow 目標(biāo)檢測(cè) API [5]。因此，我們的實(shí)驗(yàn)易于復(fù)現(xiàn)，并且可以訪問(wèn)一組不同的當(dāng)前最優(yōu)目標(biāo)檢測(cè)架構(gòu)。此外，如無(wú)特殊情況，我們僅使用在 MS-COCO 上訓(xùn)練的模型。這些模型可以從相應(yīng)的 API 網(wǎng)頁(yè)下載，還可以利用官方提供的代碼將模型應(yīng)用于圖像。表 2 列出了我們使用的模型。

測(cè)試圖像生成：圖 1 中的例子看起來(lái)有點(diǎn)不自然，我們提供了更多隨機(jī)生成的例子。簡(jiǎn)而言之，通過(guò)挑選一對(duì)隨機(jī)圖像 I、J，將隨機(jī)目標(biāo)從圖像 J 移植到圖像 I 中，然后測(cè)試目標(biāo)檢測(cè)的效果。

表 2：實(shí)驗(yàn)中所用模型，及其平均準(zhǔn)確率（mAP）。

共現(xiàn)目標(biāo)

我們已經(jīng)展示了隨機(jī)選擇一對(duì)圖像和待移植目標(biāo)的結(jié)果。可以說(shuō)，想讓一個(gè)從未在同一圖像中看到兩個(gè)類(lèi)別組合的網(wǎng)絡(luò)能夠在測(cè)試時(shí)成功地處理此類(lèi)圖像有點(diǎn)期望過(guò)高。我們認(rèn)為，無(wú)論是在實(shí)際中還是理論上，要求每對(duì)目標(biāo)類(lèi)別在訓(xùn)練集中共現(xiàn)都是不合理的。當(dāng)然，這對(duì)人類(lèi)來(lái)說(shuō)要求不高。人類(lèi)不依靠語(yǔ)境也能識(shí)別物體，盡管需要的時(shí)間更長(zhǎng) [2]。

然而，我們現(xiàn)在轉(zhuǎn)向生成另一個(gè)極端的圖像：我們從圖像中復(fù)制一個(gè)目標(biāo)，并將其復(fù)制到同一圖像中的另一個(gè)位置。圖 2 顯示了 4 幅隨機(jī)挑選圖像的生成圖像的檢測(cè)結(jié)果。我們看到，這種效果也發(fā)生在這些圖像上。部分遮擋和語(yǔ)境似乎在這里發(fā)揮了作用。例如，在（b）欄的最下面一行，當(dāng)靠近電視機(jī)時(shí)，牛的腳會(huì)變成「遙控器」。當(dāng)植物的一部分被遮擋（d 欄，最后 2、3 行），但一個(gè)人的手在附近時(shí)，植物的底部被檢測(cè)為手提包或杯子。圖 2 中的結(jié)果都是使用 faster_rcnn_nas_coco 模型生成的。

圖 2：把目標(biāo)從圖像的某個(gè)位置移植到該圖像另一位置的效果。最上一行：原始檢測(cè)。后續(xù)每一行：通過(guò)復(fù)制移植目標(biāo)，相對(duì)于前一行新檢測(cè)到的目標(biāo)。

特征干擾

以下將展示特征干擾對(duì)檢測(cè)過(guò)程的不利影響，這可能是對(duì)檢測(cè)誤差的合理解釋。例如，考慮圖 3（a）中的檢測(cè)結(jié)果。一只部分可見(jiàn)的貓被檢測(cè)到并歸類(lèi)為斑馬。我們證實(shí)，從不屬于實(shí)際目標(biāo)（cat）的像素中獲得的特征對(duì)指定的類(lèi)有影響。這點(diǎn)同樣適用于目標(biāo)感興趣區(qū)域（ROI）以?xún)?nèi)及以外的像素：在圖 3（b）中，我們將邊界框外的所有像素都設(shè)置為零。檢測(cè)結(jié)果不變。當(dāng)我們把邊界框內(nèi)的像素也歸零，留下屬于貓的像素時(shí)，得到的標(biāo)簽也會(huì)變成「貓」。這顯示了 ROI 內(nèi)像素的影響。然而，當(dāng)我們將 ROI 之外的背景強(qiáng)度隨機(jī)化時(shí)，標(biāo)簽會(huì)變成「狗」。這表明 ROI 之外的特征會(huì)影響檢測(cè)的最終結(jié)果。此次實(shí)驗(yàn)是用 Yolov3[8] 方法的 PyTorch 端口執(zhí)行的，速度非常快，產(chǎn)生的結(jié)果與目標(biāo)檢測(cè)的最新水平相當(dāng)。這種情況下的最終分類(lèi)需要依賴(lài)來(lái)自卷積層單個(gè)網(wǎng)格單元的特征。

圖 3：特征干擾。（a）：一只部分可見(jiàn)的貓被檢測(cè)為斑馬；（b）：丟棄檢測(cè)邊界框外的所有像素并不能固定對(duì)象的分類(lèi)，這表明 ROI 內(nèi)的特征可能會(huì)導(dǎo)致混淆；（c）：丟棄 ROI 內(nèi)的所有非「貓」像素也會(huì)導(dǎo)致固定的分類(lèi)；（d）：在邊界框之外的范圍內(nèi)添加隨機(jī)噪聲再次導(dǎo)致錯(cuò)誤的檢測(cè)結(jié)果，顯示了 ROI 外特征的影響。

超出檢測(cè)范圍的全局影響

在一項(xiàng)初步實(shí)驗(yàn)中，我們將幾張沒(méi)有檢測(cè)到任何物體的圖像上傳至谷歌的 Vision API 網(wǎng)站。這些圖像是任意挑選的。本文中呈現(xiàn)出實(shí)驗(yàn)結(jié)果，因?yàn)槲覀儼l(fā)現(xiàn)它值得進(jìn)一步探索。似乎其方法的 OCR 部分對(duì)移植目標(biāo)也表現(xiàn)出驚人的非局部影響。圖 4 顯示了這一點(diǎn)：鍵盤(pán)放置在圖像的兩個(gè)不同位置。盡管每個(gè)位置中鍵盤(pán)都遠(yuǎn)離標(biāo)志，但在每種情況下，標(biāo)志的檢測(cè)結(jié)果都是不同的。

圖 4：谷歌 OCR 上目標(biāo)移植的非局部影響。放置在圖像中兩個(gè)不同位置的鍵盤(pán)會(huì)導(dǎo)致對(duì)右側(cè)標(biāo)志中文本的不同解釋。頂部圖像的輸出是「dog bi」，底部是「La Cop」。

討論

我們提出了當(dāng)前目標(biāo)檢測(cè)器出現(xiàn)這些奇異行為的幾個(gè)可能原因。盡管我們報(bào)告了很多種現(xiàn)象，我們相信這些現(xiàn)象不是獨(dú)立的，某些現(xiàn)象之間存在一些共同的潛在原因。

部分遮擋：人們普遍認(rèn)為部分遮擋目前仍然是目標(biāo)檢測(cè)器的一大挑戰(zhàn)。能應(yīng)對(duì)部分遮擋被認(rèn)為是泛化的良好信號(hào)。實(shí)際上，我們測(cè)試的很多現(xiàn)代目標(biāo)檢測(cè)器都對(duì)部分遮擋具備很高的魯棒性。

上下文推理：對(duì)目前的目標(biāo)檢測(cè)器而言，明確地考慮語(yǔ)義級(jí)別的上下文并不常見(jiàn)，這意味著目標(biāo)類(lèi)別之間的相互作用以及它們的相對(duì)空間布局（或可能的額外關(guān)系）是被編碼在網(wǎng)絡(luò)的推理過(guò)程中的。盡管很多方法聲稱(chēng)整合了上下文推理，但更多地是在特征層面上，意味著全局圖像信息在某種程度上編碼在每一次推斷中。這和以前流行的明確使用上下文推理的研究相反。

特征干擾：現(xiàn)代目標(biāo)檢測(cè)器使用從卷積層中獲得的特征來(lái)生成最終的目標(biāo)類(lèi)別和邊框預(yù)測(cè)。這些區(qū)域的尺寸是固定或矩形的。ROI 池化運(yùn)算在感興趣區(qū)域的卷積特征圖子窗口上執(zhí)行特征的最大池化。這種運(yùn)算受到以下事實(shí)的影響：

感興趣區(qū)域是矩形的。這意味著不屬于目標(biāo)的區(qū)域部分也會(huì)被池化，包括背景外觀以及目標(biāo)外觀。

特征圖的每個(gè)部分可能擁有一個(gè)很大的有效感受野。在實(shí)踐中，這意味著特征是從檢測(cè)目標(biāo)的邊框以外池化得到的。

一方面，來(lái)自目標(biāo)周?chē)奶卣骺梢蕴峁┯杏玫恼Z(yǔ)境線索來(lái)提升目標(biāo)檢測(cè)，特別是對(duì)于那些由于尺寸、部分遮擋等原因而不能提供足夠信息的目標(biāo)。另一方面，一味將額外特征混合至最終類(lèi)別分?jǐn)?shù)可能會(huì)影響結(jié)果的正確性。

其它可能原因還包括：超出樣本分布、缺乏信號(hào)完整性、非極大值抑制等（詳見(jiàn)原文）。

我們相信特征干擾（如圖 3 所示）可能是多數(shù)觀察到的現(xiàn)象的根本原因，而那些由于部分遮擋或語(yǔ)境推理導(dǎo)致的現(xiàn)象則可能是該問(wèn)題的特殊案例。

責(zé)任編輯：lq