導(dǎo)讀

本文給出了圖像恢復(fù)的一般性框架，編解碼器 + GAN，后面的圖像復(fù)原基本都是這個(gè)框架。

本文會(huì)介紹圖像修復(fù)的目的，它的應(yīng)用，等等。然后，我們將深入研究文獻(xiàn)中關(guān)于圖像修復(fù)的第一個(gè)生成模型(即第一個(gè)基于GAN的修復(fù)算法，上下文編碼器)。

目標(biāo)

很簡(jiǎn)單的！我們想要填補(bǔ)圖像中缺失的部分。如圖1所示。

圖1，中心缺失的圖像（左），復(fù)原后的圖像（右）。

應(yīng)用

移除圖像中不需要的部分(即目標(biāo)移除)

修復(fù)損壞的圖像(可以擴(kuò)展到修復(fù)電影)

很多其他應(yīng)用！

術(shù)語(yǔ)

給出一個(gè)有一些缺失區(qū)域的圖像，我們定義

缺失像素/生成像素/空洞像素：待填充區(qū)域的像素。

有效像素/ground truth像素：和缺失像素含義相反。需要保留這些像素，這些像素可以幫助我們填補(bǔ)缺失的區(qū)域。

傳統(tǒng)方法

給出一個(gè)有一些缺失區(qū)域的圖像，最典型的傳統(tǒng)方法填充缺失區(qū)域是復(fù)制粘貼。

主要思想是從圖像本身或一個(gè)包含數(shù)百萬(wàn)張圖像的大數(shù)據(jù)集中尋找最相似的圖像補(bǔ)丁，然后將它們粘貼到缺失的區(qū)域。

然而，搜索算法可能是耗時(shí)的，它涉及到手工設(shè)計(jì)距離的度量方法。在通用化和效率方面仍有改進(jìn)的空間。

數(shù)據(jù)驅(qū)動(dòng)的基于深度學(xué)習(xí)的方法

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNNs)在圖像處理方面的成功，很多人開(kāi)始將CNNs應(yīng)用到自己的任務(wù)中。基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法的強(qiáng)大之處在于，如果我們有足夠的訓(xùn)練數(shù)據(jù)，我們就可以解決我們的問(wèn)題。

如上所述，圖像修復(fù)就是將圖像中缺失的部分補(bǔ)上。這意味著我們想要生成一些不存在或沒(méi)有答案的東西。因此，所有基于深度學(xué)習(xí)的修復(fù)算法都使用生成對(duì)抗網(wǎng)絡(luò)(GANs)來(lái)產(chǎn)生視覺(jué)上吸引人的結(jié)果。為什么視覺(jué)上吸引人呢？由于沒(méi)有模型來(lái)回答生成的問(wèn)題，人們更喜歡有良好視覺(jué)質(zhì)量的結(jié)果，這是相當(dāng)主觀的！

對(duì)于那些可能不知道GANs的讀者，我推薦你先去了解一下。這里以圖像修復(fù)為例，簡(jiǎn)單地說(shuō)，典型的GAN由一個(gè)生成器和一個(gè)鑒別器組成。生成器負(fù)責(zé)填補(bǔ)圖像中缺失的部分，鑒別器負(fù)責(zé)區(qū)分已填充圖像和真實(shí)圖像。請(qǐng)注意，真實(shí)的圖像是處于良好狀態(tài)的圖像(即沒(méi)有缺失的部分)。我們將隨機(jī)地將填充的圖像或真實(shí)的圖像輸入識(shí)別器來(lái)欺騙它。最終，如果鑒別器不能判斷圖像是被生成器填充的還是真實(shí)的圖像，生成器就能以良好的視覺(jué)質(zhì)量填充缺失的部分!

第一個(gè)基于GAN的修復(fù)方法：上下文編碼器

在對(duì)image inpainting做了簡(jiǎn)單的介紹之后，我希望你至少知道什么是image inpainting, GANs(一種生成模型)是inpainting領(lǐng)域常用的一種。現(xiàn)在，我們將深入研究本系列的第一篇論文。

Intention

作者想訓(xùn)練一個(gè)CNN來(lái)預(yù)測(cè)圖像中缺失的像素。眾所周知，典型的CNNs(例如LeNet手寫(xiě)數(shù)字識(shí)別和AlexNet圖像分類)包含許多的卷積層來(lái)提取特征，從簡(jiǎn)單的結(jié)構(gòu)特征到高級(jí)的語(yǔ)義特征(即早期層簡(jiǎn)單的特征，比如邊緣，角點(diǎn)，到后面的層的更復(fù)雜的特征模式)。對(duì)于更復(fù)雜的功能模式，作者想利用學(xué)到的高層語(yǔ)義特征(也稱為隱藏特征)來(lái)幫助填充缺失的區(qū)域。

此外，為修復(fù)而學(xué)習(xí)的特征需要對(duì)圖像進(jìn)行更深層次的語(yǔ)義理解。因此，學(xué)習(xí)到的特征對(duì)于其他任務(wù)也很有用，比如分類、檢測(cè)和語(yǔ)義分割。

背景

在此，我想為讀者提供一些背景信息，

Autoencoders：這是一種通常用于重建任務(wù)的CNN結(jié)構(gòu)。由于其形狀，也有人稱之為沙漏結(jié)構(gòu)模型。對(duì)于這個(gè)結(jié)構(gòu)，輸出大小與輸入大小相同，我們實(shí)際上有兩個(gè)部分，一個(gè)是編碼器，另一個(gè)是解碼器，如下圖2所示。編碼器部分用于特征編碼，針對(duì)輸入得到緊湊潛在的特征表示，而解碼器部分則對(duì)潛在特征表示進(jìn)行解碼。我們通常把中間層稱為低維的“瓶頸”層，或者簡(jiǎn)單地稱之為“瓶頸”，因此整個(gè)結(jié)構(gòu)看起來(lái)就像一個(gè)沙漏。讓我們想象一下，我們將一幅完好無(wú)損的圖像輸入到這個(gè)自動(dòng)編碼器中。在這種情況下，我們期望輸出應(yīng)該與輸入完全相同。這意味著一個(gè)完美的重建。如果可能的話，“瓶頸”是輸入的一個(gè)完美的緊湊潛在特征表示。更具體地說(shuō)，我們可以使用更少的數(shù)字來(lái)表示輸入(即更有效，它與降維技術(shù)有關(guān))。因此，這個(gè)“瓶頸”包含了幾乎所有的輸入信息(可能包括高級(jí)語(yǔ)義特征)，我們可以使用它來(lái)重構(gòu)輸入。

圖2，自編碼器的結(jié)構(gòu)圖解

上下文編碼器進(jìn)行圖像生成

圖3，提出的上下文編碼器

圖3顯示了提出的上下文編碼器的概要。首先，輸入的是mask圖像(即有中心缺失的圖像)。輸入編碼器以獲得編碼后的特征。然后，本文的主要貢獻(xiàn)是在編碼特征和解碼特征之間放置通道全連接層，以獲得更好的語(yǔ)義特征(即“瓶頸”)。最后，解碼器利用“瓶頸”特征重建缺失的部分。讓我們來(lái)看看他們的網(wǎng)絡(luò)內(nèi)部。

圖4，提出的網(wǎng)絡(luò)的結(jié)構(gòu)細(xì)節(jié)

編碼器

編碼器使用AlexNet結(jié)構(gòu)，他們用隨機(jī)初始化權(quán)值從頭開(kāi)始訓(xùn)練他們的網(wǎng)絡(luò)。

與原始的AlexNet架構(gòu)和圖2所示的自動(dòng)編碼器相比，主要的區(qū)別是中間的通道全連接層。如果網(wǎng)絡(luò)中只有卷積層，則無(wú)法利用特征圖上距離很遠(yuǎn)的空間位置的特征。為了解決這個(gè)問(wèn)題，我們可以使用全連接層，即當(dāng)前層的每個(gè)神經(jīng)元的值依賴于上一層的所有神經(jīng)元的值。然而，全連接層會(huì)引入許多參數(shù)，8192x8192=67.1M，這甚至在GPU上也很難訓(xùn)練，作者提出了通道全連接層來(lái)解決這個(gè)問(wèn)題。

通道全連接層

實(shí)際上，通道全連接層非常簡(jiǎn)單。我們只是完全獨(dú)立地連接每個(gè)通道而不是所有的通道。例如，我們有m個(gè)大小為nxn的特征映射。如果使用標(biāo)準(zhǔn)的全連接層，我們會(huì)有m2n?個(gè)參數(shù)，對(duì)于通道級(jí)的全連接層，我們只有mn?個(gè)參數(shù)。因此，我們可以在距離很遠(yuǎn)的空間位置上捕獲特征，而不需要添加那么多額外的參數(shù)。

解碼器

對(duì)于解碼器來(lái)說(shuō)，這只是編碼過(guò)程的反向。我們可以使用一系列的轉(zhuǎn)置卷積來(lái)獲得期望大小的重建圖像。

損失函數(shù)

本文使用的損失函數(shù)由兩項(xiàng)組成。第一項(xiàng)是重建損失(L2損失)，它側(cè)重于像素級(jí)的重建精度(即PSNR方向的損失)，但總是會(huì)導(dǎo)致圖像模糊。第二個(gè)是對(duì)抗損失，它通常用于GANs。它鼓勵(lì)真實(shí)圖像和填充圖像之間數(shù)據(jù)分布更接近。

對(duì)于那些對(duì)損失函數(shù)感興趣的讀者，我強(qiáng)烈推薦你們閱讀這篇論文中的方程。在這里，我只是口頭描述每個(gè)損失項(xiàng)。

重建損失(L2損失)，M表示缺失的區(qū)域（1表示缺失區(qū)域，0表示有效像素），F(xiàn)是生成器

L2損失：計(jì)算生成的像素與對(duì)應(yīng)ground truth像素之間的L2距離(歐幾里得距離)。只考慮圖4中所示的缺失區(qū)域。

對(duì)抗損失，D是鑒別器。我們希望訓(xùn)練出一種能夠區(qū)分填充圖像和真實(shí)圖像的鑒別器

對(duì)抗損失：對(duì)抗鑒別器的結(jié)構(gòu)如圖4所示。鑒別器的輸出是一個(gè)二進(jìn)制值0或1。如果輸入是真實(shí)圖像，則為1，如果輸入是填充圖像，則為0。

聯(lián)合損失，Lambda_rec為0.999，Lambda_adv為0.001

使用隨機(jī)梯度下降(SGD)，Adam優(yōu)化器交替訓(xùn)練生成器和鑒別器。

實(shí)驗(yàn)結(jié)果

評(píng)估使用了兩個(gè)數(shù)據(jù)集，即Paris Street View和ImageNet。

作者首先展示了修復(fù)結(jié)果，然后他們還表明，作為預(yù)訓(xùn)練步驟，學(xué)習(xí)到的特征可以遷移到其他任務(wù)中。

語(yǔ)義修復(fù)

圖5，修復(fù)結(jié)果，前3行是ImageNet數(shù)據(jù)集的結(jié)果，下面2行是來(lái)自Paris StreetView數(shù)據(jù)集的結(jié)果

圖5顯示了使用建議的上下文編碼器的修復(fù)結(jié)果。

表1，Paris StreetView數(shù)據(jù)集的像素重建損失

作者與傳統(tǒng)的最近鄰修復(fù)算法進(jìn)行了比較。顯然，該方法優(yōu)于最近鄰修復(fù)方法。

圖6，使用不同方法的修復(fù)結(jié)果

圖6顯示了使用各種方法的修復(fù)結(jié)果。我們可以看到L2損失傾向于給出模糊的圖像(第二列)。L2 +對(duì)抗性的損失給更清晰的填充圖像。對(duì)于NN-Inpainting，他們只是復(fù)制和粘貼最相似的圖像補(bǔ)丁到缺失的區(qū)域。

特征學(xué)習(xí)

圖7，最近鄰的上下文

為了顯示他們學(xué)習(xí)到的特征的有用性，作者嘗試編碼不同的圖像patch，并根據(jù)編碼的特征得到最相似的patch。在圖7中。作者將其與傳統(tǒng)的HOG和典型的AlexNet進(jìn)行了比較。它們實(shí)現(xiàn)了與AlexNet類似的表現(xiàn)，但AlexNet是在一百萬(wàn)張標(biāo)有數(shù)據(jù)集的圖像上預(yù)訓(xùn)練的。

表2，分類、檢測(cè)和語(yǔ)義分割的定量比較。

如表2所示，在ImageNet上預(yù)訓(xùn)練過(guò)的模型具有最好的性能，但需要昂貴的標(biāo)簽。在該方法中，上下文是用于訓(xùn)練模型的監(jiān)督。這就是他們所謂的通過(guò)修復(fù)圖像來(lái)學(xué)習(xí)特征。很明顯，它們學(xué)習(xí)到的特征表示與其他借助輔助監(jiān)督訓(xùn)練的模型相當(dāng)，甚至更好。

總結(jié)

所提出的上下文編碼器訓(xùn)練可以在上下文的條件下生成圖像。在語(yǔ)義修復(fù)方面達(dá)到了最先進(jìn)的性能。

學(xué)習(xí)到的特征表示也有助于其他任務(wù)，如分類，檢測(cè)和語(yǔ)義分割。

要點(diǎn)

我想在這里強(qiáng)調(diào)一些要點(diǎn)。

對(duì)于圖像修復(fù)，我們必須使用來(lái)自有效像素的“提示”來(lái)幫助填充缺失的像素。“上下文”一詞是指對(duì)整個(gè)圖像本身的理解。

本文的主要貢獻(xiàn)是通道全連接層。其實(shí)，理解這一層并不難。對(duì)我來(lái)說(shuō)，它是Non-Local Neural Networks或Self-Attention的早期版本/簡(jiǎn)化版本。主要的一點(diǎn)是，前一層的所有特征位置對(duì)當(dāng)前層的每個(gè)特征位置都有貢獻(xiàn)。從這個(gè)角度來(lái)看，我們對(duì)整個(gè)圖像的語(yǔ)義理解會(huì)更加深入。這個(gè)概念在后面的文章中被廣泛采用！

所有后來(lái)的修復(fù)論文都遵循了GAN-based結(jié)構(gòu)(即編碼器-解碼器結(jié)構(gòu))。人們的目標(biāo)是具有良好視覺(jué)質(zhì)量的充滿圖像。

責(zé)任編輯：lq