Andy Feng是Apache Storm的Committer，同時也是雅虎公司負責大數據與機器學習平臺的副總裁。他帶領雅虎機器學習團隊基于開源的Spark和Caffe開發了深度學習框架CaffeOnSpark，以支持雅虎的業務團隊在Hadoop和Spark集群上無縫地完成大數據處理、傳統機器學習和深度學習任務，并在CaffeOnSpark較為成熟之后將其開源（https://github.com/yahoo/CaffeOnSpark）。Andy Feng接受《程序員》記者專訪，從研發初衷、設計思想、技術架構、實現和應用情況等角度對CaffeOnSpark進行了解讀。
　　CaffeOnSpark概況
　　CaffeOnSpark研發的背景，是雅虎內部具有大規模支持YARN的Hadoop和Spark集群用于大數據存儲和處理，包括特征工程與傳統機器學習（如雅虎自己開發的詞嵌入、邏輯回歸等算法），同時雅虎的很多團隊也在使用Caffe支持大規模深度學習工作。目前的深度學習框架基本都只專注于深度學習，但深度學習需要大量的數據，所以雅虎希望深度學習框架能夠和大數據平臺結合在一起，以減少大數據/深度學習平臺的系統和流程的復雜性，也減少多個集群之間不必要的數據傳輸帶來的性能瓶頸和低效（如圖1）。
　　
　　圖1 深度學習集群與大數據集群分離的低效
　　CaffeOnSpark就是雅虎的嘗試。對雅虎而言，Caffe與Spark的集成，讓各種機器學習管道集中在同一個集群中，深度學習訓練和測試能被嵌入到Spark應用程序，還可以通過YARN來優化深度學習資源的調度。
　　
　　圖2 CaffeOnSpark系統架構
　　CaffeOnSpark架構如圖2所示，Spark on YARN加載了一些執行器（用戶可以指定Spark執行器的個數（–num-executors 《# of EXECUTORS》），以及為每個執行器分配的GPU的個數（-devices 《# of GPUs PER EXECUTOR》））（Executor）。每個執行器分配到一個基于HDFS的訓練數據分區，然后開啟多個基于Caffe的訓練線程。每個訓練線程由一個特定的GPU處理。使用反向傳播算法處理完一批訓練樣本后，這些訓練線程之間交換模型參數的梯度值，在多臺服務器的GPU之間以MPI Allreduce形式進行交換，支持TCP/以太網或者RDMA/Infiniband。相比Caffe，經過增強的CaffeOnSpark可以支持在一臺服務器上使用多個GPU，深度學習模型同步受益于RDMA。
　　考慮到大數據深度學習往往需要漫長的訓練時間，CaffeOnSpark還支持定期快照訓練狀態，以便訓練任務在系統出現故障后能夠恢復到之前的狀態，不必從頭開始重新訓練。從第一次發布系統架構到宣布開源，時間間隔大約為半年，主要就是為了解決一些企業級的需求。
　　CaffeOnSpark解決了三大問題
　　《程序員》：在眾多的深度學習框架中，為什么選擇了Caffe？
　　Andy Feng：Caffe是雅虎所使用的主要深度學習平臺之一。早在幾個季度之前，開發人員就已將Caffe部署到產品上（見Pierre Garrigues在RE.WORK的演講），最近，我們看到雅虎越來越多的團隊使用Caffe進行深度學習研究。作為平臺組，我們希望公司的其它小組能夠更方便地使用Caffe。
　　在社區里，Caffe以圖像深度學習方面的高級特性而聞名。但在雅虎，我們也發現很容易將Caffe擴展到非圖像的應用場景中，如自然語言處理等。
　　作為一款開源軟件，Caffe擁有活躍的社區。雅虎也積極與伯克利Caffe團隊和開發者、用戶社區合作（包括學術和產業）。
　　《程序員》：除了貢獻到社區的特性，雅虎使用的Caffe相對于伯克利版本還有什么重要的不同？
　　Andy Feng：CaffeOnSpark是伯克利Caffe的分布式版本。我們對Caffe核心只做了細微改動，重點主要放在分布式學習上。在Caffe的核心層面，我們改進Caffe來支持多GPU、多線程執行，并引入了新的數據層來處理大規模數據。這些核心改進已經加入了伯克利Caffe的代碼庫，整個Caffe社區都能因此而受益。