引言：

現(xiàn)有的遙感目標(biāo)檢測(cè)模型通常依賴于大量的標(biāo)記訓(xùn)練數(shù)據(jù)，然而由于遙感場(chǎng)景中物體密度較高，因此手工標(biāo)注所需的時(shí)間和金錢成本非常昂貴。主動(dòng)學(xué)習(xí)通過有選擇地查詢信息豐富和代表性的未標(biāo)記樣本，有效降低了數(shù)據(jù)標(biāo)注成本。然而，現(xiàn)有的主動(dòng)學(xué)習(xí)方法主要適用于類別平衡設(shè)置和基于圖像查詢的通用物體檢測(cè)任務(wù)，而在遙感目標(biāo)檢測(cè)場(chǎng)景中，由于存在長(zhǎng)尾類分布和密集小物體，這些方法并不太適用。如圖1所示，相較于通用場(chǎng)景下的物體分布，航空遙感圖像中的目標(biāo)通常呈現(xiàn)較小、模糊的特點(diǎn)，并且在復(fù)雜背景中密集分布。

在本文中，我們提出了一種新穎的遙感目標(biāo)檢測(cè)主動(dòng)學(xué)習(xí)方法，旨在有效降低成本。具體而言，在物體采樣中考慮了對(duì)象級(jí)和圖像級(jí)的信息性，以避免冗余和短視的查詢。此外，還結(jié)合了一個(gè)易于使用的類平衡準(zhǔn)則，以支持少數(shù)類對(duì)象，緩解模型訓(xùn)練中的長(zhǎng)尾類分布問題。我們進(jìn)一步設(shè)計(jì)了一個(gè)訓(xùn)練損失，來挖掘未標(biāo)記圖像區(qū)域中的潛在知識(shí)。

方法：

使用主動(dòng)學(xué)習(xí)進(jìn)行遙感目標(biāo)檢測(cè)旨在通過從大型未標(biāo)記數(shù)據(jù)集中選擇信息量豐富的樣本來降低標(biāo)注成本，從而訓(xùn)練一個(gè)性能良好的檢測(cè)器。該問題由三組數(shù)據(jù)定義：用于初始化模型的小型完全標(biāo)記集，用于數(shù)據(jù)選擇的大型未標(biāo)記集，以及通過主動(dòng)學(xué)習(xí)方法采樣的部分標(biāo)記集。為了使用最小的標(biāo)記成本來訓(xùn)練一個(gè)性能良好的檢測(cè)器，我們使用采樣函數(shù)從中選擇信息最豐富的樣本進(jìn)行標(biāo)注，標(biāo)注后的圖片加入。我們?cè)O(shè)計(jì)了兩個(gè)模塊來進(jìn)行經(jīng)濟(jì)高效的采樣：混合不確定性采樣模塊（MUS）和類別分布平衡采樣（CDB）。方法的整體框架如圖2所示。

混合不確定性采樣：

現(xiàn)有的基于對(duì)象的采樣方法主要考慮預(yù)測(cè)框本身的信息，即類別不確定性或回歸不確定性，但忽視了圖像的空間信息和語義結(jié)構(gòu)。為了解決這個(gè)問題，我們提出考慮圖像和對(duì)象的不確定性，即結(jié)合全局和局部信息以進(jìn)行更全面的數(shù)據(jù)評(píng)估。

關(guān)于圖像不確定性，如果一張圖像中有許多預(yù)測(cè)對(duì)象具有較高的不確定性，那么應(yīng)該優(yōu)先選擇該圖像進(jìn)行采樣。為此，我們?cè)u(píng)估并聚合模型預(yù)測(cè)的不確定性值以表示整個(gè)圖像的不確定性值。具體而言，對(duì)于給定的圖像 ，圖像不確定性 的表達(dá)式如下所示：

其中， 表示集合中元素的數(shù)量， 是分?jǐn)?shù)閾值。圖像不確定性值 是通過計(jì)算圖像中邊界框的平均置信度得到的。只有置信度大于閾值 的邊界框被用于計(jì)算平均置信度。當(dāng)圖像中存在許多置信度較低的預(yù)測(cè)邊界框時(shí)， 值會(huì)較高。這是因?yàn)閳D像中包含了難以區(qū)分的對(duì)象，導(dǎo)致預(yù)測(cè)結(jié)果不一致且置信度較低。因此，具有較高 值的圖像更有可能包含罕見模式的有用信息，也就更適合進(jìn)行選擇。

關(guān)于對(duì)象不確定性，為了在查詢中考慮對(duì)象級(jí)別的信息，我們使用熵來評(píng)估每個(gè)預(yù)測(cè)邊界框的不確定性。具體而言，對(duì)象不確定性 的計(jì)算如下所示：

其中 是圖像中第 個(gè)邊界框在類別上的預(yù)測(cè)概率。

接下來，我們將圖像不確定性 和對(duì)象不確定性 結(jié)合起來，得到最終的對(duì)象信息分?jǐn)?shù) 。

類別分布平衡采樣：

遙感數(shù)據(jù)存在類別不平衡的問題，其中罕見類別對(duì)模型性能產(chǎn)生嚴(yán)重?fù)p害。為了解決這個(gè)問題，我們提出了一種在主動(dòng)查詢過程中強(qiáng)調(diào)低頻類別的采樣方法。具體而言，我們首先統(tǒng)計(jì)標(biāo)記數(shù)據(jù)集中的類別分布情況，然后確定標(biāo)記數(shù)據(jù)集中的罕見類別。設(shè)表示類別對(duì)應(yīng)的對(duì)象數(shù)量，其中。我們的目標(biāo)是在采樣階段通過對(duì)每個(gè)類別施加與成反比的偏好，來更多地查詢罕見的類別對(duì)象。采樣偏好的計(jì)算方式如下：

首先，根據(jù)ak值，我們計(jì)算標(biāo)記集中每個(gè)類別的分布概率。然后，我們?nèi)∑涞箶?shù)得到類別權(quán)重βk，用于采樣過程中的權(quán)重調(diào)整。接下來，我們使用Softmax函數(shù)計(jì)算采樣期間預(yù)期的類別分布。通過這種方式，我們能夠?yàn)椴煌念悇e設(shè)定偏好，并在選擇階段有選擇性地查詢罕見類別對(duì)象，以提高模型的性能和準(zhǔn)確性。

處理部分標(biāo)記圖像：

為了應(yīng)對(duì)模型訓(xùn)練過程中存在一些數(shù)據(jù)集完全標(biāo)記，而另一些圖像數(shù)據(jù)集僅部分標(biāo)記的情況，我們采用了不同的訓(xùn)練損失函數(shù)來處理這兩個(gè)集合。對(duì)于完全標(biāo)記的數(shù)據(jù)集，我們沿用了檢測(cè)器的默認(rèn)訓(xùn)練損失函數(shù)；而對(duì)于部分標(biāo)記的數(shù)據(jù)集，我們則采用了自定義的損失函數(shù)，以有效地挖掘圖像中未標(biāo)記區(qū)域的潛在知識(shí)。

具體來說，部分標(biāo)記的圖像在模型訓(xùn)練時(shí)會(huì)給分類損失中的負(fù)樣本損失引入噪聲，因?yàn)閳D像中的某些對(duì)象可能沒有被標(biāo)記并被視為負(fù)樣本。為了解決這個(gè)問題，我們提出了一種自適應(yīng)權(quán)重?fù)p失函數(shù)，用來處理分類損失中的負(fù)樣本損失。該方法基于每個(gè)負(fù)樣本的預(yù)測(cè)背景分?jǐn)?shù)來調(diào)整其對(duì)應(yīng)的分類損失權(quán)重。這種方法可以有效地抑制模型對(duì)于具有低背景分?jǐn)?shù)的負(fù)樣本（通常是前景對(duì)象）的分類損失。定義如下：

?包含分類損失（前兩項(xiàng)）和框回歸損失（最后一項(xiàng)）。其中，i和j是一個(gè)小批量中圖像和區(qū)域提案的索引，W代表著參與訓(xùn)練的區(qū)域提案數(shù)。 和 是指示函數(shù)，用于表示圖像是否是部分標(biāo)記或完全標(biāo)記。用于表示區(qū)域提案是否是正樣本（即包含對(duì)象）。為了實(shí)現(xiàn)穩(wěn)健的學(xué)習(xí)，引入了參數(shù)來降低背景對(duì)象的分類損失權(quán)重。

實(shí)驗(yàn)：

1、與其他主動(dòng)學(xué)習(xí)方法比較

我們?cè)谒膫€(gè)遙感檢測(cè)器（包括兩個(gè)單階段遙感檢測(cè)器：KLD和SASM，以及兩個(gè)雙階段遙感檢測(cè)器：ReDet和Oriented R-CNN）以及兩個(gè)數(shù)據(jù)集（DOTA-v1.0和DOTA-v2.0）上進(jìn)行了性能比較。我們使用mAP作為比較指標(biāo)。實(shí)驗(yàn)結(jié)果如表I所示。通過在多個(gè)檢測(cè)器上進(jìn)行的實(shí)驗(yàn)證明了所提出的MUS-CDB方法的有效性和通用性。該方法可以輕松地集成到各種目標(biāo)檢測(cè)框架中，并有助于提高不同應(yīng)用中的目標(biāo)檢測(cè)模型性能。

熵采樣僅在采樣過程中考慮目標(biāo)級(jí)別的信息，而混合不確定性采樣則綜合考慮目標(biāo)級(jí)別和圖像級(jí)別的信息。為了驗(yàn)證混合采樣的有效性，我們進(jìn)行了兩種采樣方法的性能比較。

2、消融實(shí)驗(yàn)

為了證明我們提出的兩個(gè)采樣模塊的有效性，我們進(jìn)行了如下的消融實(shí)驗(yàn)。可以看到不確定性采樣（MUS）和類別分布平衡采樣（DUS）兩個(gè)模塊都可以有效提升模型性能。兩者結(jié)合的二階段采樣可以更好的平衡采樣結(jié)果的多樣性和代表性。

我們還做消融實(shí)驗(yàn)證明了自適應(yīng)損失函數(shù)的有效性。（1）代表使用默認(rèn)的損失函數(shù)，（2）代表使用提出的改進(jìn)損失。

結(jié)論：

在本文中，我們提出了一種名為MUS-CDB的基于對(duì)象的主動(dòng)學(xué)習(xí)方法，旨在減輕遙感目標(biāo)檢測(cè)數(shù)據(jù)注釋所帶來的巨大負(fù)擔(dān)。我們?cè)诓蓸舆^程中設(shè)計(jì)了一種基于圖像和對(duì)象的混合不確定性采樣模塊，以選擇信息最豐富的實(shí)例進(jìn)行標(biāo)注。考慮到遙感圖像數(shù)據(jù)集中的長(zhǎng)尾問題，我們?cè)诓蓸舆^程中引入了類別偏好的策略，以促進(jìn)所選對(duì)象的多樣性。此外，我們還提出了一種針對(duì)部分標(biāo)記數(shù)據(jù)的有效訓(xùn)練方法，以充分利用主動(dòng)查詢所獲取的知識(shí)。