我們訓練了一個大型的深度卷積神經網絡，來將在ImageNet LSVRC-2010 大賽中的120萬張高清圖像分為1000 個不同的類別。對測試數據，我們得到了top-1 誤差率37.5%，以及top-5 誤差率17.0%，這個效果比之前最頂尖的都要好得多。該神經網絡有6000 萬個參數和650，000 個神經元，由五個卷積層，以及某些卷積層后跟著的max-pooling 層，和三個全連接層，還有排在最后的1000-way 的softmax 層組成。為了使訓練速度更快，我們使用了非飽和的神經元和一個非常高效的GPU 關于卷積運算的工具。為了減少全連接層的過擬合，我們采用了最新開發的正則化方法，稱為“ dropout”，它已被證明是非常有效的。在ILSVRC-2012 大賽中，我們又輸入了該模型的一個變體，并依靠top-5 測試誤差率15.3%取得了勝利，相比較下，次優項的錯誤率是26.2%。

?

　　1 引言

　　當前物體識別的方法基本上都使用了機器學習方法。為了改善這些方法的性能，我們可以收集更大的數據集，學習更強有力的模型，并使用更好的技術，以防止過擬合。直到最近，標記圖像的數據集都相當小——大約數萬張圖像（例如，NORB ［16］ ，Caltech-101/256［8， 9］ ，以及CIFAR-10/100 ［12］ ）。簡單的識別任務可以用這種規模的數據集解決得相當好，特別是當它們用標簽-保留轉換增強了的時候。例如，在MNIST 數字識別任務中當前最好的誤差率（《0.3%）接近于人類的表現［4］ 。但是現實環境中的物體表現出相當大的變化，因此要學習它們以對它們進行識別就必須使用更大的訓練集。事實上，小規模圖像數據集的缺陷已被廣泛認同（例如， Pinto 等人［21］），但是直到最近，收集有著上百萬張圖像的帶標簽數據集才成為可能。更大型的新數據集包括LabelMe ［23］，它由幾十萬張完全分割圖組成，還有ImageNet ［6］，它由多于22，000個種類中超過1500 萬張帶標簽的高分辨率圖像組成。

　　為了從幾百萬張圖像中學習數以千計的物體，我們需要一個學習能力更強的模型。然而，物體識別任務的極大復雜性意味著這個問題不能被指定，即使是通過與ImageNet一樣大的數據集，所以我們的模型中也應該有大量的先驗知識，以補償我們所沒有的全部數據。卷積神經網絡（CNN）構成了一個這種類型的模型［16， 11， 13， 18， 15， 22， 26］。它們的能力可以通過改變其深度與廣度得到控制，它們也可作出有關圖像性質的強壯且多半正確的假設（即，統計數據的穩定性和像素依賴關系的局部性） 。因此，與層次規模相同的標準前饋神經網絡相比， CNN 的連接關系和參數更少，所以更易于訓練，而其理論上的最佳性能可能只略差一點。不論CNN 的性質多有吸引力， 也不論它們局部結構的相對效率有多高，將它們大規模地應用到高分辨率圖像中仍然是極其昂貴的。幸運的是，目前的GPU 搭配了一個高度優化的2D 卷積工具，強大到足以促進大規模CNN 的訓練，而且最近的數據集像ImageNet2包含足夠的帶標簽的樣例來訓練這樣的模型，還不會有嚴重的過擬合。本文的具體貢獻如下：我們在ILSVRC-2010 和ILSVRC-2012 大賽中使用過的ImageNet的子集上［2］ ，訓練了迄今為止最大型的卷積神經網絡之一，并取得了迄今為止在這些數據集上報告過的最好結果。我們寫了一個高度優化的GPU 二維卷積工具以及訓練卷積神經網絡過程中的所有其他操作，這些我們都提供了公開地址。我們的網絡中包含一些既新鮮而又不同尋常的特征，它們提高了網絡的性能，并減少了網絡的訓練時間，這些詳見第3 節。我們的網絡中甚至有120 萬個帶標簽的訓練樣本，這么大的規模使得過擬合成為一個顯著的問題，所以我們使用了幾種有效的方法來防止過擬合，這些在第4 節中給以描述。我們最終的網絡包含五個卷積層和三個全連接層，且這種層次深度似乎是重要的：我們發現，移去任何卷積層（其中每一個包含的模型參數都不超過1%）都會導致性能變差。

　　最后，網絡的規模主要受限于當前GPU 的可用內存和我們愿意容忍的訓練時間。我們的網絡在兩塊GTX 580 3GB GPU 上訓練需要五到六天。我們所有的實驗表明，等更快的GPU 和更大的數據集可用以后，我們的結果就可以輕而易舉地得到改進。