數(shù)據(jù)分析和機(jī)器學(xué)習(xí)

如果你認(rèn)為大數(shù)據(jù)僅僅是關(guān)于SQL語(yǔ)句查詢和海量的數(shù)據(jù)的話，那么別人也會(huì)理解你的，但是大數(shù)據(jù)真正的目的是通過對(duì)數(shù)據(jù)的推斷，從數(shù)據(jù)中獲取價(jià)值、從數(shù)據(jù)中發(fā)現(xiàn)有用的東西。例如，“如果我降低5%的價(jià)格，我將增加10%的銷售量。”

數(shù)據(jù)分析是重要的技術(shù)，包括如下方面：

描述性分析：確定所發(fā)生的事情。這通常涉及到描述發(fā)生了什么現(xiàn)象的報(bào)告。例如，用這個(gè)月的銷售額與去年同期進(jìn)行比較的結(jié)果。

特征性分析：解釋現(xiàn)象發(fā)生的原因，這通常涉及使用帶有OLAP技術(shù)的控制臺(tái)用以分析和研究數(shù)據(jù)，根據(jù)數(shù)據(jù)挖掘技術(shù)來找到數(shù)據(jù)之間的相關(guān)性。

預(yù)測(cè)性分析：評(píng)估可能發(fā)生的事情的概率。這可能是預(yù)測(cè)性分析被用來根據(jù)你的工作性質(zhì)、個(gè)人興趣愛好，認(rèn)為你是一個(gè)潛在的讀者，以便能夠鏈接到其他的人。

機(jī)器學(xué)習(xí)適合于預(yù)測(cè)性分析。

什么是機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能的一個(gè)子集，即用機(jī)器去學(xué)習(xí)以前的經(jīng)驗(yàn)。與傳統(tǒng)的編程不同，開發(fā)人員需要預(yù)測(cè)每一個(gè)潛在的條件進(jìn)行編程，一個(gè)機(jī)器學(xué)習(xí)的解決方案可以有效地基于數(shù)據(jù)來適應(yīng)輸出的結(jié)果。

一個(gè)機(jī)器學(xué)習(xí)的算法并沒有真正地編寫代碼，但它建立了一個(gè)關(guān)于真實(shí)世界的計(jì)算機(jī)模型，然后通過數(shù)據(jù)訓(xùn)練模型。

機(jī)器學(xué)習(xí)如何工作？

垃圾郵件過濾是一個(gè)很好的例子，它利用機(jī)器學(xué)習(xí)技術(shù)來學(xué)習(xí)如何從數(shù)百萬(wàn)封郵件中識(shí)別垃圾郵件，其中就用到了統(tǒng)計(jì)學(xué)技術(shù)。

例如，如果每100個(gè)電子郵件中的85個(gè)，其中包括“便宜”和“ *哥”這兩個(gè)詞的郵件被認(rèn)為是垃圾郵件，我們可以說有85%的概率，確定它是垃圾郵件。并通過其它幾個(gè)指標(biāo)（例如，從來沒給你發(fā)送過郵件的人）結(jié)合起來，利用數(shù)十億個(gè)電子郵件進(jìn)行算法測(cè)試，隨著訓(xùn)練次數(shù)不斷增加來提升準(zhǔn)確率。

事實(shí)上，谷歌表示它現(xiàn)在已經(jīng)可以攔截99.99%左右的垃圾郵件。

機(jī)器學(xué)習(xí)實(shí)例

一般包括以下幾個(gè)方面:

目標(biāo)影響：主要針對(duì)Google和Facebook的目標(biāo)廣告，基于個(gè)人興趣愛好，并通過Netflix推薦電影，還通過亞馬遜推薦購(gòu)物；

信用評(píng)分：銀行使用收入數(shù)據(jù)，從你的居住地、你的年齡和婚姻狀況來預(yù)測(cè)你是否會(huì)拖欠貸款；

信用卡欺詐檢測(cè)：用于根據(jù)你之前一些可能的消費(fèi)習(xí)慣，在線禁止具有欺詐行為的信用卡或借記卡的使用；

購(gòu)物籃分析：根據(jù)數(shù)以百萬(wàn)個(gè)類似顧客的消費(fèi)習(xí)慣，用來預(yù)測(cè)你更可能使用哪些特殊優(yōu)惠政策；

在一個(gè)有爭(zhēng)議的案例：美國(guó)零售商對(duì)使用了25種不同的健康和化妝品產(chǎn)品的顧客的購(gòu)物籃進(jìn)行分析，來成功地預(yù)測(cè)婦女懷孕，包括非常準(zhǔn)確的預(yù)產(chǎn)期。然而卻事與愿違，當(dāng)一個(gè)年輕女孩的父親抱怨說，在女兒被懷孕相關(guān)的特殊優(yōu)惠轟炸后，目的就變成了鼓勵(lì)未成年少女懷孕。

你需要什么

事實(shí)上，你是在尋找數(shù)據(jù)中的關(guān)聯(lián)性，但你需要一些領(lǐng)域的專業(yè)知識(shí)來驗(yàn)證結(jié)果。計(jì)算機(jī)可以找到一個(gè)模式，但是只有專家才能驗(yàn)證它是否具有關(guān)聯(lián)性。

總之，以下是你所需要的：

目標(biāo).你正在試圖解決的問題。例如，信用卡被盜了嗎？股票價(jià)格會(huì)上漲還是下跌？用戶近期最喜歡哪部電影？

大量數(shù)據(jù). 例如，為了準(zhǔn)確預(yù)測(cè)房屋的價(jià)格，你需要詳細(xì)列出的歷史價(jià)格。

專家.你需要一個(gè)知道正確答案的領(lǐng)域?qū)＜襾眚?yàn)證所產(chǎn)生的結(jié)果，并確認(rèn)什么時(shí)候模型足夠精確。

模式.你在尋找數(shù)據(jù)中的模式。如果沒有模式，你可能會(huì)有錯(cuò)誤的或者不完整的數(shù)據(jù)。

機(jī)器學(xué)習(xí)的類型

預(yù)測(cè)性分析試圖基于歷史數(shù)據(jù)來預(yù)測(cè)未來的結(jié)果，最常用的方法被稱為監(jiān)督學(xué)習(xí)。

機(jī)器學(xué)習(xí)的類型有：

監(jiān)督學(xué)習(xí)：當(dāng)我們需要從過去的數(shù)據(jù)中知道正確答案的時(shí)候，但是還需要預(yù)測(cè)未來的結(jié)果。例如，利用過去的房?jī)r(jià)來預(yù)測(cè)當(dāng)前和未來的價(jià)格。有效地使用基于試錯(cuò)的統(tǒng)計(jì)改進(jìn)過程，機(jī)器依靠對(duì)監(jiān)督者提供的一組值的測(cè)試結(jié)果來逐步提高準(zhǔn)確性。

無監(jiān)督學(xué)習(xí)：這里沒有明確的正確答案，但我們想從數(shù)據(jù)中有新的發(fā)現(xiàn)。最常用于對(duì)數(shù)據(jù)進(jìn)行分類或分組，例如，在Spotify上對(duì)音樂分類，來幫助推薦你可能想聽的歌曲或是專輯。然后，他們將聽眾分類，看他們是否更可能愿意聽Radiohead或Justin Bieber。

強(qiáng)化學(xué)習(xí)：不需要一個(gè)領(lǐng)域?qū)＜遥枰粩嗟叵蝾A(yù)定目標(biāo)前進(jìn)。這是一種經(jīng)常部署神經(jīng)網(wǎng)絡(luò)的技術(shù)，例如， AphaGo在DeepMind中跟自己打了一百萬(wàn)場(chǎng)比賽，最終成為了世界冠軍。

機(jī)器學(xué)習(xí)過程

不同于未來通過機(jī)器學(xué)習(xí)下象棋的場(chǎng)景，目前大多數(shù)機(jī)器學(xué)習(xí)是相當(dāng)麻煩的，在下面的圖表中進(jìn)行了說明：

在未來很可能機(jī)器學(xué)習(xí)將會(huì)被應(yīng)用到幫助加快過程，特別是在數(shù)據(jù)收集和清洗領(lǐng)域，但主要步驟仍然存在以下方面：

定義問題：正如我在另一篇文章中所指出的那樣，機(jī)器學(xué)習(xí)總是從一個(gè)明確的問題和目標(biāo)開始；

收集數(shù)據(jù)：適合的數(shù)據(jù)的數(shù)量和種類越多，機(jī)器學(xué)習(xí)模型就會(huì)變得越精確。這些數(shù)據(jù)可以來自電子表格、文本文件和數(shù)據(jù)庫(kù)，除了商業(yè)上可用的數(shù)據(jù)源之外；

準(zhǔn)備數(shù)據(jù)：這包括數(shù)據(jù)的清理和解析。刪除或糾正異常值（失控的錯(cuò)誤值）；這經(jīng)常占用總的時(shí)間和工作量的60%以上，然后將數(shù)據(jù)分成兩個(gè)不同的部分，即練數(shù)據(jù)和測(cè)試數(shù)據(jù)；

訓(xùn)練模型：針對(duì)一組訓(xùn)練數(shù)據(jù)—用于識(shí)別數(shù)據(jù)中的模式或相關(guān)性，或者用于做預(yù)測(cè)，同時(shí)使用重復(fù)的測(cè)試和誤差改進(jìn)方法來逐步地提高模型的精度；

評(píng)估模型：通過比較結(jié)果與測(cè)試數(shù)據(jù)集的準(zhǔn)確度來評(píng)估模型。重要的是不要對(duì)用于訓(xùn)練系統(tǒng)的數(shù)據(jù)進(jìn)行模型評(píng)估，以確保無偏差的和獨(dú)立的測(cè)試；

部署和改進(jìn)：這可以涉及到嘗試完全不同的算法或者收集更多種類或更大數(shù)量的數(shù)據(jù)。例如，你可以通過使用房屋所有者提供的數(shù)據(jù)來預(yù)估今后的房屋升值空間，從而提高房?jī)r(jià)預(yù)測(cè)的準(zhǔn)確度；

綜上所述，大多數(shù)機(jī)器學(xué)習(xí)過程實(shí)際上是循環(huán)的和連續(xù)的，因?yàn)楦嗟臄?shù)據(jù)被添加或者情況會(huì)有所變化，因?yàn)槭澜鐝膩聿粫?huì)靜止不動(dòng)，并且總是有改進(jìn)和提高的空間。

總結(jié)

下圖說明了機(jī)器學(xué)習(xí)系統(tǒng)所使用的關(guān)鍵策略：

總之，任何機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵部分就是數(shù)據(jù)。考慮到額外的算法、巧妙的編程和大量的更精確的數(shù)據(jù)的選擇，大數(shù)據(jù)每次都是勝利者。