細粒度圖像分析(fine-grained image analysis,FGIA)是計算視覺領(lǐng)域的基礎(chǔ)問題，由于面臨的問題與其他視覺任務(wù)相比具有顯著的差異，細粒度圖像分析任務(wù)在發(fā)展過程中面臨著獨特的挑戰(zhàn)。

近年來隨著深度學(xué)習(xí)發(fā)展和數(shù)據(jù)特征表示的進步，F(xiàn)GIA也取得了一系列進展。來自曠視南京研究院的研究人員們對近年來基于深度學(xué)習(xí)FGIA的發(fā)展進行了系統(tǒng)的梳理和分類，同時給出了一系列行業(yè)內(nèi)具體的應(yīng)用實例，最后從目前面臨的挑戰(zhàn)和開放問題中展望了這一領(lǐng)域的發(fā)展趨勢和研究方向。

細粒度圖像分析所面臨的任務(wù)是分析和處理某個類別目標下的一系列子類別的問題，例如狗的類別下包含了各種不同外形、顏色、身材的狗。這一任務(wù)最大的挑戰(zhàn)在于子類間的差異很小，而在同一類別中的對象卻因為姿態(tài)、大小或者位置呈現(xiàn)出較大的差別。

如何通過準確的特征表述，從細微的不同中辨別出不同的子類別，是細粒度圖像分析任務(wù)所面臨的最大挑戰(zhàn)。

細粒度圖像分析的主要任務(wù)是從同一父類中辨別出不同子類間的差異。

目前細粒度圖像分析主要分為識別、檢索和生成三個部分，在學(xué)術(shù)界和產(chǎn)業(yè)界扮演了重要的作用：從生物領(lǐng)域的監(jiān)測和識別到零售領(lǐng)域的商品處理，從天氣和氣候變化分析到交通運輸，細粒度圖像分析擁有廣泛的應(yīng)用前景。

研究人員們在各大頂會上也發(fā)表了大量研究成果，舉辦了諸多FGIA的比賽，例如魚類識別和鯨魚識別等，也為FGIA指明了一系列未來的發(fā)展方向。

細粒度圖像識別

細粒度圖像識別任務(wù)是FGIA中最為活躍的研究領(lǐng)域，目前的研究思路重要分為三個方向：

一種是基于定位與分類的方法來實現(xiàn)；

另一種則直接利用端到端的方法實現(xiàn)特征編碼從而進行識別；

最后一種則依賴于容易獲取的外部信息進行輔助以實現(xiàn)細粒度圖像識別。

定位-分類方法將細粒度圖像識別轉(zhuǎn)換成了兩個細分的子任務(wù)。首先通過對圖像中細粒度目標的可識別語義部分進行抽取作為中介，隨后利用模型構(gòu)建起對于這些部分的特征表達并分類來實現(xiàn)。

這需要一個用于定位這些類別關(guān)鍵部分的子網(wǎng)絡(luò)，和一個可以對這些關(guān)鍵部分進行有效分類的子網(wǎng)絡(luò)。通常研究人員們會使用bbox框或者語義分割掩膜等來為關(guān)鍵部分定位。基于端到端的方法則直接從數(shù)據(jù)中學(xué)習(xí)可辨別的特征表達，構(gòu)建出強大的細粒度識別算法。例如雙線心CNN方法利用高階統(tǒng)計特征來提高中級cnn的學(xué)習(xí)能力，但過高的維度限制了這種方法在大規(guī)模數(shù)據(jù)中的現(xiàn)實應(yīng)用。

最近研究人員利用低維嵌入的聚合以及雙線性特征的近似等方法來改進端到端模型，并設(shè)計了特殊的損失函數(shù)來驅(qū)動模型學(xué)習(xí)出細粒度的表達。外部信息輔助下的細粒度圖像識別充分利用了文本、網(wǎng)絡(luò)數(shù)據(jù)、多模態(tài)數(shù)據(jù)和人類的幫助來更有效地進行細粒度任務(wù)。由于人類標記的數(shù)據(jù)成本很高，研究人員開始選用互聯(lián)網(wǎng)上帶有弱標簽和噪聲的數(shù)據(jù)。

其中一種方法是為需要測試的類別爬取含有標記噪聲的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其主要的研究方向在于克服標記數(shù)據(jù)與易獲取網(wǎng)絡(luò)數(shù)據(jù)間的差距、減小噪聲數(shù)據(jù)的負面影響。研究人員通常使用對抗學(xué)習(xí)和注意力機制來處理。

另一種方式是將良好標記類別上學(xué)習(xí)的能力遷移到測試類別上，通常采用元學(xué)習(xí)和無樣本學(xué)習(xí)方法。

除了網(wǎng)絡(luò)數(shù)據(jù)外，研究人員們還使用多模態(tài)數(shù)據(jù)進行輔助學(xué)習(xí)，包括自然語言描述和知識圖譜等數(shù)據(jù)都是輔助細粒度圖像識別的有力工具，實現(xiàn)視覺與語言的聯(lián)合表示。

最后人工智能中一定需要人的參與，通過將難識別的樣本、關(guān)鍵特征定位等任務(wù)加入人與機器的合作來實現(xiàn)更好的細粒度識別。

細粒度圖像檢索

圖像檢索也是細粒度圖像分析中重要的一部分，在給定某類圖像的前提下可以從數(shù)據(jù)庫中返回相同的子類，而無需其他的監(jiān)督信號。但與通常檢索不同的是，細粒度任務(wù)所要檢索的對象都是極為相似的子類別內(nèi)容，子類間僅僅只有細微的差異，而同一目標則因為位姿、尺度和旋轉(zhuǎn)的不同而差異巨大。

這一任務(wù)在電子商務(wù)和在線平臺上有著巨大的需求，近年來研究人員利用深度學(xué)習(xí)的方法探索了對于圖像中關(guān)鍵對象或部分的深度表達，發(fā)現(xiàn)新的損失函數(shù)和子結(jié)構(gòu)來對這一問題進行處理。

細粒度圖像生成

隨著無監(jiān)督學(xué)習(xí)和圖像生成領(lǐng)域的發(fā)展，研究人員們開始探索細粒度的圖像合成問題，包括人臉、人體和不同環(huán)境下的物體合成都展開了一系列研究。

例如結(jié)合變分自編碼器和生成對抗方法的CVAE-GAN方法基于概率模型構(gòu)建了標簽和隱含屬性，通過細粒度的類別來引導(dǎo)生成模型進行細粒度的圖像生成。還有研究人員利用文本描述的方法結(jié)合生成模型得到具有細粒度特征的合成結(jié)果。

數(shù)據(jù)和基準

目前在細粒度圖像領(lǐng)域有一系列基準數(shù)據(jù)，包括了動植物、飛機、零售商品等，這些數(shù)據(jù)不僅為這個領(lǐng)域的算法提供了有效的測評基準，同時也推動了這一領(lǐng)域的不斷進步。作者在下表列出了常見的FGIA數(shù)據(jù)，包括了元類別、數(shù)量、標簽類別等：

值得注意的是CUB200-2011數(shù)據(jù)是一個使用最為廣泛的數(shù)據(jù)集，數(shù)據(jù)包含了詳盡的標簽，包括部分標注、屬性標簽甚至是一段對應(yīng)的自然語言描述，近年來研究人員還在不斷拓展這個數(shù)據(jù)。

此外還有很多數(shù)據(jù)集在不斷地放出，人們更深入地研究新穎的特征、大規(guī)模、多層級的結(jié)構(gòu)、域間的差異和數(shù)據(jù)長尾分布等，同時更多的研究如何在真實場景中進行有效落地。

廣泛的應(yīng)用

細粒度的圖像分析在產(chǎn)業(yè)界中有諸多的應(yīng)用，包括推薦系統(tǒng)中的衣服鞋帽檢索、時尚識別，電子商務(wù)網(wǎng)站中的產(chǎn)品檢索等等。此外人臉識別也可以視為細粒度圖像識別的一個子問題，針對的是人臉這個類別下的身份細粒度識別。同時行人和車輛的重識別問題也是細粒度識別問題的一種體現(xiàn)。

FGIA將為會這些具體的問題提供一系列解決方案，包括可識別特征的捕捉和層層遞進的信息結(jié)構(gòu)等，都為這些領(lǐng)域的發(fā)展做出了貢獻。

開放的問題

盡管細粒度圖像分析在近年來取得了一系列的進步，但在很多方面還存在一系列開放問題值得進一步深度地研究，在文章的最后研究人員提出了四個未來潛在的發(fā)展方向，為未來的研究給出了建議。1. 自動化的細粒度建模。隨著自動機器學(xué)習(xí)AutoML和自動架構(gòu)搜索NAS的發(fā)展，未來細粒度機器學(xué)習(xí)將通過這些方法提高建模的效率和精度，并將尋找到表現(xiàn)更好的模型，同時也將反過來促進自動機器學(xué)習(xí)領(lǐng)域的發(fā)展。2. 細粒度小樣本學(xué)習(xí)。人類可以通過少量的樣本抽象出對于某個類型的認識。目前最好的深度學(xué)習(xí)模型也需要眾多樣本進行學(xué)習(xí)，既耗時也需要大量的數(shù)據(jù)成本。而細粒度圖像識別擁有比粗尺度更為精細的標簽，未來研究人員也許會利用更小的樣本數(shù)量來對分類器進行訓(xùn)練，強化FGIA的實用性和應(yīng)用規(guī)模。3. 細粒度哈希。隨著這一領(lǐng)域的應(yīng)用和數(shù)據(jù)規(guī)模的擴大，檢索的難度也隨之加大。哈希作為一種有效的領(lǐng)域搜索技術(shù)正在受到人們的關(guān)注，對于細粒度圖像檢索的哈希研究將有望成為處理大規(guī)模數(shù)據(jù)問題的有效手段。4. 真實細粒度分析。為了適應(yīng)真實應(yīng)用場景需要進一步研究在各種真實條件下的FGIA問題，例如在超市貨架上的商品和野外的動物細粒度分析問題中，無法控制環(huán)境和對象的條件，這會對視覺任務(wù)帶來一系列挑戰(zhàn)。隨著這一領(lǐng)域的發(fā)展，算法和模型將會具有更強的域適應(yīng)性，基于知識遷移、長尾數(shù)據(jù)以及在資源受限的端上運行的細粒度圖像分析將會有更多深入的研究，實現(xiàn)更加先進和可用的FGIA系統(tǒng)。