實時大數(shù)據(jù)處理時代的來臨促使了諸多不可預(yù)見的新業(yè)務(wù)挑戰(zhàn)與威脅的出現(xiàn)，2016年，“數(shù)字化轉(zhuǎn)型相應(yīng)擴大”成為了企業(yè)的首要主題。在此背景之下，除了決定結(jié)果準確性的數(shù)據(jù)以外，決定快慢的算法模型就顯得尤為重要。然而，當前大數(shù)據(jù)所使用的算法絕大多數(shù)都是幾十年前的老算法，而隨著硬件與分布式技術(shù)的革新升級，機器學習得到了高速發(fā)展，但在算法上卻沒有顯著突破。
　　由此，IBM在聯(lián)合CSDN連續(xù)舉辦8期Power 8極限挑戰(zhàn)賽后，火熱發(fā)起“Linux on Power算法馬拉松挑戰(zhàn)賽”年度總決賽。以大數(shù)據(jù)算法為主題，提供豐厚的獎金、完全免費的IBM Power虛擬環(huán)境、豐富的工具鏈與文檔、強大的后場資源管理團隊，共襄這場程序員盛宴。讓歷經(jīng)重重篩選殺入決賽的大數(shù)據(jù)技術(shù)和算法高手們盡情揮灑創(chuàng)意，一起切磋算法技術(shù)。
　　
　　經(jīng)過12小時的組隊較量，最終，由張冠星、王瑞、黃平春組成的團隊奪得總決賽冠軍，IBM大中華區(qū)硬件系統(tǒng)部服務(wù)器解決方案副總裁施東峰蒞臨現(xiàn)場為其頒發(fā)了10000元現(xiàn)金支票。為此，CSDN特地采訪了施東峰與獲獎?wù)撸瑥乃麄兊目谥刑街髷?shù)據(jù)算法的發(fā)展以及IBM對于大數(shù)據(jù)算法的深度研究與支持。
　　基于Power 8平臺的大數(shù)據(jù)算法探索與實踐針對大數(shù)據(jù)處理壓力等現(xiàn)實需求，總決賽冠軍團隊在比賽中基于IBM Power 8同步開發(fā)了兩套算法，并根據(jù)比賽在算法準確性、測試時間等方面的評判標準，提交了其中更具優(yōu)勢的一套算法。當然，從算法到提交程序運行等整個開發(fā)過程中，他們的團隊也遇到了許多問題，并在數(shù)據(jù)專家的幫助下得以解決，比如由于訓練集主題相對集中，用LDA或PLSA效果并不理想，反而使用傳統(tǒng)的TextRank、TF-IDF較好；對于語料的處理，更關(guān)注樣本集特點，預(yù)處理中主要是去除HTML標簽、標點符號、代碼塊等。
　　IBM在現(xiàn)場提供的專業(yè)支持也幫助他們快速熟悉Power 8的環(huán)境和編譯工具，同時還有g(shù)cc-ppc64編譯套件、jdk8-ibm、pypy等工具。張冠星表示，Power平臺擁有著強大的內(nèi)存帶寬和超線程處理能力，并且配套了相關(guān)的優(yōu)化工具，使開發(fā)更加容易。“以前主要是在x86平臺下開發(fā)，沒有遇到過交叉編譯、性能調(diào)優(yōu)等場景，而借助這個機會，在Power 8平臺上針對自己的程序有目的地調(diào)優(yōu)，并達到效果，收獲很大。”
　　開放的Linux 開放的Power在大賽過程中，IBM專門安排了技術(shù)專家為所有參賽選手做技術(shù)輔導，施東峰表示，舉辦此次大賽的初衷在于希望能夠為開發(fā)者們建立一個良好的溝通平臺，幫助開發(fā)者拓展編程思路，同時也提升他們對基于Linux平臺進行大數(shù)據(jù)分析的能力。采訪過程中，施東峰詳談了IBM對于支持Linux以及開源社區(qū)所做的種種努力。“IBM的發(fā)展離不開Linux，而IBM對于Linux的投入與支持也是最直接的，這種投入既包括公司對開發(fā)人員的培養(yǎng)，又包含在產(chǎn)品上的支持，所有服務(wù)器平臺都支持Linux。同時，IBM在開源社區(qū)也做了很大的投入，包括大數(shù)據(jù)方面的智能運算解決方案、Hadoop、Spark等。”
　　
　　IBM大中華區(qū)硬件系統(tǒng)部服務(wù)器解決方案副總裁 施東峰
　　那么，在云計算和開源軟件風靡的今天，用戶應(yīng)如何選擇IT架構(gòu)？施東峰談到，在一個私有云或數(shù)據(jù)中心中，由于機器數(shù)量的增加，硬件設(shè)備的損壞是不可避免的，這些能耗將會成為用戶一個很大的開支，基于x86通用服務(wù)器進行集群和橫向擴展等的IT云架構(gòu)存在很多問題需要用戶去面對。在這方面，IBM通過自己的技術(shù)來解決用戶需求，以基于Power 8技術(shù)的產(chǎn)品讓效能得到大幅提升，而針對用戶的特定應(yīng)用，IBM會提供特制的大內(nèi)存機器，更好地支持Hadoop和Spark應(yīng)用的運行。
　　施東峰講道：“IBM對所有開源的軟件都抱以開放的態(tài)度，并針對大數(shù)據(jù)做了一些硬件配置，讓新的服務(wù)器產(chǎn)品在大數(shù)據(jù)應(yīng)用性能方面得到了極大提升。而IBM也以O(shè)penPower開放計劃聯(lián)盟的方式，與硬件、軟件、處理器、數(shù)據(jù)庫等廠商進行合作。隨著OpenPower的持續(xù)深入，越來越多的國內(nèi)公司參與進來，發(fā)展迅猛的Linux也將透過IBM迎來大的機遇！”
?