大數據最典型,人們最熟悉的應用場景就是精準營銷,根據用戶既往的行為數據做出分析,然后做出預測,以此輔助企業的營銷過程,除此之外,大數據還能做什么?還有哪些應用場景呢?
Splunk是一家特別的大數據分析服務公司,它的數據分析與傳統的數據處理的方式有所不同。
Splunk的工作對象主要是機器數據,所謂機器數據是指IT環境中包括操作系統,數據庫應用,ERP,移動終端、電腦、服務器、路由器等任何設備上產生的數據,Splunk可基于任何來源,任何類型,任何數量的數據源,進行關聯處理,關聯分析最后為用戶服務。
比如,Splunk可以提供智能化的IT的運維,利用大數據精準定位用戶的問題,快速處理問題,用AIOps來解決運維問題;Splunk可以提供成面,成體系的安全服務,通過分析來發現未知的安全威脅;Splunk的業務分析服務可用來改善產品和用戶體驗,監控用戶的使用數據,使用APP的數據,以此來改善他的產品和服務。
在實際應用中,Splunk有很多實踐案例可以分享。
納斯達克用Splunk做內部外部的威脅分析,作為一家金融交易機構,安全是至關重要的。事實上,納斯達克與許多企業一樣,有很多來自于外部內部的安全威脅。比如系統會發現離職員工訪問企業賬戶的異常,結合其他相關數據判定行為是否正常,比如防止人員流動造成的IP知識產權流失,或者及早發現IP知識產權流失的問題。
國內某大型金融機構使用Splunk做運維。一方面,IT架構越來復雜,故障定位也越來越難。交換機報錯找交換機,數據讀寫錯誤找數據庫,交換機的報錯可能是數據庫造成的,有些東西沒法一下找到問題,Splunk平臺能對所有數據進行關聯分析,能清楚定位報警。一方面,100個報警提示其實可能只有一個真正問題,Splunk關聯分析之后能做告警壓縮。報警壓縮的價值在哪兒?一天幾十萬條報警要怎么處理呢?有的人外包,有的人認為刪掉一部分,面對茫茫多的報警信息,處理起來非常麻煩,想解決的話,只有加派人手了,這是成本。
制造業里的寶馬新能源車也在用Splunk,寶馬新能源車的設計研發模擬交付用戶跟蹤都在用Splunk,用前期記錄的數據來做流程返工,迅速找出問題的所在,Splunk可以監控所有電動車的使用過程,通過對所有電動車行駛規矩,停留的地點,停留時間的分析判斷在哪兒放充電站。寶馬會利用收集到的各種信息來分析和改善產品。
Splunk幫特斯拉監控特斯拉汽車從研發到生產,到后續的交付,到用戶的使用,信息的采集的全過程,能收集到用戶的駕駛習慣、踩剎車的習慣、打方向盤的習慣,能記錄開車的頻率、習慣的速度,給出一些提醒建議,幫助改善產品,實現快速迭代。
Splunk能分析的數據非常全,然后能對數據做全面的關聯,這就是Splunk最大的特點了。
天學網是一家以智能學習產品和平臺服務為主的教育服務的公司,每天有幾百萬付費用戶,這些用戶非常重視使用體驗,這為運營提出了很多挑戰,因為用戶對于錯誤基本上是零容忍。
天學網副總裁劉文(左)和Splunk 中國區總經理嚴立忠(右)
天學網副總裁劉文表示,故障出現后的響應時間只有分鐘級,以往小時級的響應是完全不行的。
為了提升保障用戶的使用體驗,六年前開始,天學網自主開發了一部分監控系統,也有一部分使用了開源的監控系統,所以,天學網本身其實有技術積累的。
盡管如此,但是面對一些具體的問題時也是無從下手,或者說自己投入辛辛苦苦做出來的東西效果達不到預期,或者達到預期后的代價非常高。
大約從三年前開始,天學網開始使用Splunk的方案。天學網副總裁劉文這樣說道,我從當前60分水平想要做到80分的話,需要花很大代價,我現在用Splunk的方案能做到90分以上,而代價遠比我自己做的要小。Splunk的使用體驗讓劉文深刻體會到了什么叫術業有專攻。
劉文將與Splunk的合作過程總結為三個需求階段
據了解,天學網跟Splunk的合作不到三年,當前能做到快速,定位和解決問題,這是第一階段,在Splunk的幫助下,天學網的技術團隊得以能專注于研究教學技術,將智能技術注入其中,下一階段,天學網想在問題出現之前解決問題。
在天學網的用戶中80%以上的場景需要在家里完成,用戶產生的數據90%以上是非結構化的。比如用戶練習英語口語的時候會產生錄音,產生筆記,百萬級用戶規模下,數據量將非常大,如何發現服務過程中的潛在問題將會帶來很高的價值。
如今,天學網已經著手第二層級的需求,劉文表示十分看好其前景,能夠很大程度上提高故障反映速度,提升用戶體驗,這對于復購率和使用數字兩方面都非常重要。在滿足第二層級需求的過程中,劉文還意識到,引入Splunk的服務引進的不只是一套技術,而且是引進了一套業內的最佳實踐經驗。
第三個階段的想要達到的效果是從立體的視角審視發生了什么。審視用戶來的時候有沒有遇到問題,購買行為怎么樣?使用過程中有沒有遇到麻煩,可能遇到什么問題。
第三個需求也開始嘗試,天學網考慮將Splunk用在全業務流程管理,用來分析底層機器數據,上層應用數據,業務層面的數據等等。
劉文認為,開源的方案是一條路徑但是構建和使用成本太高了,效率和質量也很難滿足實際需求,這時候確實需要一個很強的工具,他表示,教育行業對于質量和體驗的要求與醫療行業的要求特別像,便宜點當然好,但價格不是第一位。
他希望,底層系統的運行指標和上層一些業務指標以某種方式串起來,串起來之后來進行更快的迭代和決策,這件事有很強的探索性。
他相信,在Splunk的幫助下,一方面企業的生產力絕對是得到了提高。另一方面,整體擁有成本遠低于自己研發,既節省了金錢也節省了時間。
評論