電子發燒友App
創作
發文章
發帖 
提問 
發資料
發視頻在前面的章節中，我們討論了如何在只有 60000 張圖像的 Fashion-MNIST 訓練數據集上訓練模型。我們還描述了 ImageNet，這是學術界使用最廣泛的大規模圖像數據集，它有超過 1000 萬張圖像和 1000 個對象。然而，我們通常遇到的數據集的大小介于這兩個數據集之間。
假設我們要從圖片中識別出不同類型的椅子，然后向用戶推薦購買鏈接。一種可能的方法是首先識別 100 把普通椅子，為每把椅子拍攝 1000 張不同角度的圖像，然后在收集的圖像數據集上訓練分類模型。雖然這個椅子數據集可能比 Fashion-MNIST 數據集大，但示例數量仍然不到 ImageNet 中的十分之一。這可能會導致適用于 ImageNet 的復雜模型在此椅子數據集上過度擬合。此外，由于訓練示例數量有限，訓練模型的準確性可能無法滿足實際要求。
為了解決上述問題，一個顯而易見的解決方案是收集更多的數據。然而，收集和標記數據可能會花費大量時間和金錢。例如，為了收集 ImageNet 數據集，研究人員花費了數百萬美元的研究經費。雖然目前的數據采集成本已經大幅降低，但這一成本仍然不容忽視。
另一種解決方案是應用遷移學習，將從源數據集中學到的知識遷移到目標數據集中。例如，盡管 ImageNet 數據集中的大部分圖像與椅子無關，但在此數據集上訓練的模型可能會提取出更一般的圖像特征，這有助于識別邊緣、紋理、形狀和物體組成。這些相似的特征也可能對識別椅子有效。
14.2.1。腳步
在本節中，我們將介紹遷移學習中的一種常用技術：微調。如圖 14.2.1所示，微調包括以下四個步驟：
-
在源數據集（例如，ImageNet 數據集）上預訓練神經網絡模型，即源模型。
-
創建一個新的神經網絡模型，即目標模型。這將復制源模型上除輸出層之外的所有模型設計及其參數。我們假設這些模型參數包含從源數據集中學到的知識，并且這些知識也適用于目標數據集。我們還假設源模型的輸出層與源數據集的標簽密切相關；因此它不在目標模型中使用。
-
向目標模型添加一個輸出層，其輸出數量為目標數據集中的類別數量。然后隨機初始化該層的模型參數。
-
在目標數據集（例如椅子數據集）上訓練目標模型。輸出層將從頭開始訓練，而所有其他層的參數將根據源模型的參數進行微調。
圖 14.2.1微調。
當目標數據集遠小于源數據集時，微調有助于提高模型的泛化能力。
14.2.2。熱狗識別
讓我們通過一個具體案例來演示微調：熱狗識別。我們將在一個小型數據集上微調 ResNet 模型，該數據集是在 ImageNet 數據集上預訓練的。這個小數據集包含數千張有熱狗和沒有熱狗的圖像。我們將使用微調模型從圖像中識別熱狗。
14.2.2.1。讀取數據集
我們使用的熱狗數據集取自在線圖像。該數據集包含 1400 張包含熱狗的正類圖像，以及包含其他食物的大量負類圖像。兩個類別的 1000 張圖像用于訓練，其余用于測試。
解壓下載的數據集后，我們得到兩個文件夾 hotdog/train和hotdog/test. 這兩個文件夾都有hotdog和 not-hotdog子文件夾，其中任何一個都包含相應類別的圖像。
Downloading ../data/hotdog.zip from http://d2l-data.s3-accelerate.amazonaws.com/hotdog.zip...
我們創建兩個實例來分別讀取訓練和測試數據集中的所有圖像文件。
前 8 個正面示例和最后 8 個負面圖像如下所示。如您所見，圖像的大小和縱橫比各不相同。
hotdogs = [train_imgs[i][0] for i in range(8)]
not_hotdogs = [train_imgs[-i - 1][0] for i in range(8)]
d2l.show_images(hotdogs + not_hotdogs, 2, 8, scale=1.4);
在訓練過程中，我們首先從圖像中裁剪出一個隨機大小和隨機縱橫比的隨機區域，然后將這個區域縮放到 224×224輸入圖像。在測試過程中，我們將圖像的高度和寬度都縮放到 256 像素，然后裁剪一個中心 224×224區域作為輸入。此外，對于三個 RGB（紅色、綠色和藍色）顏色通道，我們逐通道標準化它們的值。具體來說，就是用該通道的每個值減去該通道的平均值，然后除以該通道的標準差。
# Specify the means and standard deviations of the three RGB channels to
# standardize each channel
normalize = torchvision.transforms.Normalize(
[0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
train_augs = torchvision.transforms.Compose([
torchvision.transforms.RandomResizedCrop(224),
torchvision.transforms.RandomHorizontalFlip(),
torchvision.transforms.ToTensor(),
normalize])
test_augs = torchvision.transforms.Compose([
torchvision.transforms.Resize([256, 256]),
torchvision.transforms.CenterCrop(224),
torchvision.transforms.ToTensor(),
normalize])
# Specify the means and standard deviations of the three RGB channels to
# standardize each channel
normalize = gluon.data.vision.transforms.Normalize(
[0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
train_augs = gluon.data.vision.transforms.Compose([
gluon.data.vision.transforms.RandomResizedCrop(224),
gluon.data.vision.transforms.RandomFlipLeftRight(),
gluon.data.vision.transforms.ToTensor(),
normalize])
test_augs = gluon.data.vision.transforms.Compose([
gluon.data.vision.transforms.Resize(256),
gluon.data.vision.transforms.CenterCrop(224),
gluon.data.vision.transforms.ToTensor(),
normalize])
14.2.2.2。定義和初始化模型
我們使用在 ImageNet 數據集上預訓練的 ResNet-18 作為源模型。在這里，我們指定pretrained=True自動下載預訓練模型參數。如果是第一次使用這個模型，需要連接互聯網才能下載。
預訓練源模型實例包含多個特征層和一個輸出層fc。這種劃分的主要目的是為了便于微調除輸出層之外的所有層的模型參數。fc下面給出源模型的成員變量。
Linear(in_features=512, out_features=1000, bias=True)
The pretrained source model instance contains two member variables: features and output. The former contains all layers of the model except the output layer, and the latter is the output layer of the model. The main purpose of this division is to facilitate the fine-tuning of model parameters of all layers but the output layer. The member variable output of source model is shown below.
Dense(512 -> 1000, linear)
作為全連接層，它將 ResNet 最終的全局平均池化輸出轉化為 ImageNet 數據集的 1000 類輸出。然后我們構建一個新的神經網絡作為目標模型。它的定義方式與預訓練源模型相同，不同之處在于它在最后一層的輸出數量設置為目標數據集中的類數（而不是 1000）。
在下面的代碼中，目標模型實例的輸出層之前的模型參數finetune_net被初始化為源模型中相應層的模型參數。由于這些模型參數是通過在 ImageNet 上進行預訓練獲得的，因此它們是有效的。因此，我們只能使用較小的學習率來 微調此類預訓練參數。相比之下，輸出層中的模型參數是隨機初始化的，通常需要更大的學習率才能從頭開始學習。讓基礎學習率成為η, 學習率10η將用于迭代輸出層中的模型參數。
上傳資料賺積分
工商網監
評論