機器學習問題通常會轉換成一個目標函數去求解，優化算法是求解目標函數中參數的重要工具，在大數據環境下，需要設計并行與分布式的優化算法，通過多核計算和分布式計算技術來加速訓練過程，近年來，該領域涌現了大量研究工作，部分算法也在各機器學習平臺得到廣泛應用，本文針對梯度下降算法、二階優化算法、鄰近梯度算法、坐標下降算法、交替方向乘子算法五類最常見的優化方法展開研究，每一類算法分別從單機并行和分布式并行來分析相關研究成果，并從模型特性、輸入數據特性、算法評價、并行計算模型等角度對每個算法進行詳細對比，隨后對有代表性的可擴展機器學習平臺中優化算法的實現和應用情況進行對比分析．同時對本文中介紹的所有優化算法進行多層次分類，方便用戶根據目標函數類型選擇合適的優化算法，也可以通過該多層次分類圖交叉探索如何將優化算法應用到新的目標函數類型，最后分析了現有優化算法存在的問題，提出可能的解決思路，并對未來研究方向進行展望。