眾所周知，對抗訓(xùn)練生成模型（GAN）在圖像生成領(lǐng)域獲得了不凡的效果。盡管基于GAN的無監(jiān)督學(xué)習(xí)方法取得了初步成果，但很快被自監(jiān)督學(xué)習(xí)方法所取代。

DeepMind近日發(fā)布了一篇論文《Large Scale Adversarial Representation Learning》（大規(guī)模對抗性表示學(xué)習(xí)），提出了無監(jiān)督表示學(xué)習(xí)新模型BigBiGAN。

致力于將圖像生成質(zhì)量的提升轉(zhuǎn)化為表征學(xué)習(xí)性能的提高，基于BigGAN模型的基礎(chǔ)上提出了BigBiGAN，通過添加編碼器和修改鑒別器將其擴展到圖像學(xué)習(xí)。作者評估了BigBiGAN模型的表征學(xué)習(xí)能力和圖像生成功能，證明在ImageNet上的無監(jiān)督表征學(xué)習(xí)以及無條件圖像生成，該模型達(dá)到了目前的最佳性能。

論文發(fā)布后，諸多AI大牛轉(zhuǎn)發(fā)并給出了評價。

“GAN之父”Ian Goodfellow表示這很酷，在他讀博士期間，就把樣本生成雙產(chǎn)物的表示學(xué)習(xí)感興趣，而不是樣本生成本身。

特斯拉AI負(fù)責(zé)人Andrej Karpathy則表示，自我監(jiān)督的學(xué)習(xí)是一個非常豐富的領(lǐng)域(但需要比ImageNet提供更高的密度和結(jié)構(gòu))，這將避免大規(guī)模數(shù)據(jù)集的當(dāng)前必要性(或在RL中推出)。

1、介紹

近年來，圖像生成模型快速發(fā)展。雖然這些模型以前僅限于具有單模或多模的結(jié)構(gòu)域，生成的圖像結(jié)構(gòu)簡單，分辨率低，但隨著模型和硬件的發(fā)展，已有生成復(fù)雜、多模態(tài)，高分辨率圖像的能力。

圖1 BigBiGAN框架框圖

聯(lián)合鑒別器，輸入是數(shù)據(jù)潛在對，

，從數(shù)據(jù)分布Px和編碼器輸出中采樣，或

從生成器輸出和潛在分布Pz中采樣。損失包括一元數(shù)據(jù)項和一元潛在項，以及將數(shù)據(jù)和潛在分布聯(lián)系起來的聯(lián)合項。

通過BiGAN或ALI框架學(xué)習(xí)的編碼器，是ImageNet上用于下游任務(wù)的可視化表示學(xué)習(xí)的有效手段。然而，該方法使用了DCGAN樣式生成器，無法在該數(shù)據(jù)集上生成高質(zhì)量圖像，因此編碼器可以建模的語義非常有限。作者基于該方法，使用BigGAN作為生成器，能夠捕獲ImageNet圖像中存在的多模態(tài)和出現(xiàn)的大部分結(jié)構(gòu)。總體而言，本文的貢獻(xiàn)如下：

（1）在ImageNet上，BigBiGAN（帶BigGAN的BiGAN生成器）匹配無監(jiān)督表征學(xué)習(xí)的最新技術(shù)水平

（2）為BigBiGAN提出了一個穩(wěn)定版本的聯(lián)合鑒別器

（3）對模型設(shè)計選擇進行了全面的實證分析和消融實驗

（4）表征學(xué)習(xí)目標(biāo)還有助于無條件圖像生成，并展示無條件ImageNet生成的最新結(jié)果

2、BigBiGAN

BiGAN、ALI方法作為GAN框架的擴展，能夠?qū)W習(xí)可以用作推理模型或特征表示的編碼器。給定數(shù)據(jù)項x的分布Px（例如，圖像）和潛在項z的分布Pz（通常是像各向同性高斯N（0;I）的簡單連續(xù)分布），生成器模擬條件概率分布

，給定潛在項z后數(shù)據(jù)項x的概率值，如標(biāo)準(zhǔn)GAN生成器。編碼器對逆條件分布

進行建模，預(yù)測給定數(shù)據(jù)項x的情況下，潛在項z的概率值。

除了添加之外，BiGAN框架中對GAN的另一種修改是聯(lián)合鑒別器 - 潛在項對（x，z）（而不僅僅是標(biāo)準(zhǔn)GAN中的數(shù)據(jù)項x），并且學(xué)習(xí)區(qū)分?jǐn)?shù)據(jù)分布和編碼器對，生成器和潛在分布。具體地說，它的輸入對是

和

，和的目標(biāo)是“欺騙”鑒別器，使得被采樣的兩個聯(lián)合概率分布和難以區(qū)分。GAN框架的目標(biāo)，定義如下：

在這個目標(biāo)下，在最優(yōu)和最小化聯(lián)合分布和之間的Jensen-Shannon散度，因此在全局最優(yōu)時，兩個聯(lián)合分布

匹配。此外，在和是確定性函數(shù)的情況下（即，學(xué)習(xí)條件分布

和

是Dirac δ函數(shù)），這兩個函數(shù)是全局最優(yōu)的逆：例如

，最佳聯(lián)合鑒別器有效地對x和z施加重建成本。

具體地，鑒別器損失值

其中

優(yōu)化和參數(shù)

3、評估

作者在未標(biāo)記的ImageNet上訓(xùn)練BigBiGAN，固定其表征學(xué)習(xí)結(jié)果，然后在其輸出上訓(xùn)練線性分類器，使用所有訓(xùn)練集標(biāo)簽進行全面監(jiān)督學(xué)習(xí)。 作者還測量圖像生成性能，其中

IS）和

FID）作為標(biāo)準(zhǔn)指標(biāo)。

3.1 消融

作者先評估了多種模型，見表1。作者使用不同的種子對每個變體進行三次運行并記錄每個度量的平均值和標(biāo)準(zhǔn)差。

潛在分布隨機值：

，其中在給定和線性輸出的情況下，預(yù)測

一元損失：

評估刪除損失函數(shù)的一元項影響。只有z一元項和沒有一元項的IS和FID性能要比只有x一元項和兩者都有的性能差，結(jié)果表明x一元項對生成性能有很大的正面影響。

生成器容量：

為了證明生成器在表征學(xué)習(xí)中的重要性，作者改變生成器的容量觀察對結(jié)果的影響。實驗結(jié)果表明，好的圖像生成器模型能提高表征學(xué)習(xí)能力。

帶有不同分辨率的的高分辨率：

使用更高的分辨率，盡管的分辨率相同，但是生成結(jié)果顯著改善（尤其是通過FID）。

結(jié)構(gòu)：

使用不同結(jié)構(gòu)的評估性能，結(jié)果表明網(wǎng)絡(luò)寬度增加，性能會得到提升。

解耦優(yōu)化：

將優(yōu)化器與的優(yōu)化器分離，并發(fā)現(xiàn)簡單地使用10倍的E學(xué)習(xí)速率可以顯著加速訓(xùn)練并改善最終表征學(xué)習(xí)結(jié)果。

3.2與已有方法比較

表征學(xué)習(xí)

表1：BigBiGAN變體的結(jié)果

在生成圖像的IS和FID中，以及ImageNet top-1分類準(zhǔn)確率，根據(jù)從訓(xùn)練集中隨機抽樣的10K圖像的分割計算，稱為Train分裂。每行中基本設(shè)置的更改用藍(lán)色突出顯示。具有誤差范圍的結(jié)果（寫為“μ±σ”）是具有不同隨機種子的三次運行的平均值和標(biāo)準(zhǔn)偏差。

表2：使用監(jiān)督邏輯回歸分類器對官方ImageNet驗證集上的BigBiGAN模型與最近競爭方法的比較

基于10K訓(xùn)練集圖像的trainval子集的最高精度，選擇BigBiGAN結(jié)果并提前停止。ResNet-50結(jié)果對應(yīng)于表1中的行ResNet（“ELR”），RevNet-50×4對應(yīng)于RevNet×4（“ELR”）

表3：無監(jiān)督（無條件）生成的BigBiGAN與已有的無監(jiān)督BigGAN的比較結(jié)果

作者將“偽標(biāo)簽”方法指定為SL（單標(biāo)簽）或聚類。為了進行比較，訓(xùn)練BigBiGAN的步數(shù)（500K）與基于BigGAN的方法相同，但也可以在最后一行中對1M步驟進行額外訓(xùn)練，并觀察其變化。上述所有結(jié)果均包括中值m以及三次運行的平均μ和標(biāo)準(zhǔn)偏差σ，表示為“m（μ±σ）”。BigBiGAN的結(jié)果由最佳FID與Train的停止決定的。

無監(jiān)督圖像生成

圖2：從無監(jiān)督的BigBiGAN模型中選擇的重建

上圖2中第一行表示真實數(shù)據(jù)x~Px；第二行表示由

3.3 重建

BiGAN E和G通過計算編碼器預(yù)測的潛在表示E(x)，然后將預(yù)測的潛在表示傳回生成器，得到重建的G(E(x))，從而重構(gòu)數(shù)據(jù)實例x。我們在圖2中展示了BigBiGAN重構(gòu)。這些重構(gòu)遠(yuǎn)非有像素級的完美度，部分原因可能是目標(biāo)并沒有明確強制執(zhí)行重構(gòu)成本，甚至在訓(xùn)練時也沒有計算重構(gòu)。然而，它們可能為編碼器學(xué)習(xí)建模的特性提供一些直觀的認(rèn)識。例如，當(dāng)輸入圖像包含一條狗、一個人或一種食物時，重建通常是相同“類別”的不同實例，具有相似的姿勢、位置和紋理。這些重構(gòu)傾向于保留輸入的高級語義，而不是低級細(xì)節(jié)，這表明BigBiGAN訓(xùn)練鼓勵編碼器對前者建模，而不是后者。

4、相關(guān)研究

基于自我監(jiān)督圖像中的無監(jiān)督表示學(xué)習(xí)的許多方法被證明是非常成功的。自我監(jiān)督通常涉及從以某種方式設(shè)計成類似于監(jiān)督學(xué)習(xí)的任務(wù)中學(xué)習(xí)，但是其中“標(biāo)簽”可以自動地從數(shù)據(jù)本身創(chuàng)建而無需人工操作。早期的例子是相對位置預(yù)測，其中模型在輸入的圖像塊對上進行訓(xùn)練并預(yù)測它們的相對位置。

對比預(yù)測編碼（CPC）是最近的相關(guān)方法，其中，給定圖像補丁，模型預(yù)測哪些補丁出現(xiàn)在其他圖像位置中。其他方法包括著色、運動分割、旋轉(zhuǎn)預(yù)測和樣本匹配。

對這些方法進行了嚴(yán)格的實證比較。相對于大多數(shù)自我監(jiān)督的方法，BigBiGAN和基于生成模型的其他方法的關(guān)鍵優(yōu)勢是它們的輸入可能是全分辨率圖像或其他信號，不需要裁剪或修改所需的數(shù)據(jù)。這意味著結(jié)果表示通常可以直接應(yīng)用于下游任務(wù)中的完整數(shù)據(jù)，而不會發(fā)生域移位（domain shift）。

還提出了許多相關(guān)的自動編碼器和GAN變體。關(guān)聯(lián)壓縮網(wǎng)絡(luò)（ACN）學(xué)會通過調(diào)節(jié)其他先前在代碼空間中相似的傳輸數(shù)據(jù)的數(shù)據(jù)來壓縮數(shù)據(jù)集級別，從而產(chǎn)生可以“模糊”語義相似樣本的模型，類似于BigBiGAN重建。VQ-VAE 將離散（矢量量化）編碼器與自回歸解碼器配對，以產(chǎn)生具有高壓縮因子的忠實重建，并在強化學(xué)習(xí)設(shè)置中展示表示學(xué)習(xí)結(jié)果。在對抗性空間中，對抗性自動編碼器提出了一種自動編碼器式編碼器 - 解碼器對，用像素級重建成本訓(xùn)練，用鑒別器代替VAE中使用的先驗的KL-發(fā)散正則化。

在另一個提出的VAE-GAN混合中，在大多數(shù)VAE中使用的像素空間重建誤差被替換為距GAN鑒別器的中間層的特征空間距離。AGE和α-GAN等其他混合方法增加了編碼器來穩(wěn)定GAN訓(xùn)練。這些方法與BiGAN框架間的一個區(qū)別是，BiGAN不會以明確的重建成本訓(xùn)練編碼器，雖然可以證明BiGAN隱含地使重建成本最小化，但定性重建結(jié)果表明這種重建成本具有不同的風(fēng)格，強調(diào)了像素級細(xì)節(jié)上的高級語義。

5.探討

我們已經(jīng)證明，BigBiGAN是一種純粹基于生成模型的無監(jiān)督學(xué)習(xí)方法，它在ImageNet上實現(xiàn)了圖像表示學(xué)習(xí)的最好的結(jié)果。我們的消融實驗進一步證實強大的生成模型可以有利于表征學(xué)習(xí)，反過來，學(xué)習(xí)推理模型可以改善大規(guī)模的生成模型。在未來，我們希望表示學(xué)習(xí)可以繼續(xù)受益于生成模型和推理模型的進一步發(fā)展，同時擴展到更大的圖像數(shù)據(jù)庫。