你如何有效地計(jì)算出不同機(jī)器學(xué)習(xí)算法的估計(jì)準(zhǔn)確性？在這篇文章中，你將會(huì)學(xué)到8種技術(shù)，用來比較R語言機(jī)器學(xué)習(xí)算法。你可以使用這些技術(shù)來選擇最精準(zhǔn)的模型，并能夠給出統(tǒng)計(jì)意義方面的評(píng)價(jià)，以及相比其它算法的絕對(duì)優(yōu)勢(shì)。
　　選擇最好的機(jī)器學(xué)習(xí)模型
　　你如何根據(jù)需求選擇最好的模型？
　　在你進(jìn)行機(jī)器學(xué)習(xí)項(xiàng)目的時(shí)候，往往會(huì)有許多良好模型可供選擇。每個(gè)模型都有不同的性能特點(diǎn)。
　　使用重采樣方法，如交叉驗(yàn)證，就可以得到每個(gè)模型在未知數(shù)據(jù)上精準(zhǔn)度的估計(jì)。你需要利用這些估計(jì)從你創(chuàng)建的一系列模型中選擇一到兩個(gè)最好的模型。
　　仔細(xì)比較機(jī)器學(xué)習(xí)模型
　　當(dāng)你有了新數(shù)據(jù)集，使用多種不同的圖形技術(shù)可視化數(shù)據(jù)是個(gè)好主意，你可以從不同角度來觀察數(shù)據(jù)。
　　這種想法也可以用于模型選擇。你應(yīng)該使用不同的方法來進(jìn)行估計(jì)機(jī)器學(xué)習(xí)算法的準(zhǔn)確率，依此來選擇一到兩個(gè)模型。
　　你可以使用不同的可視化方法來顯示平均準(zhǔn)確率、方差和模型精度分布的其他性質(zhì)。
　　比較并選擇R語言的機(jī)器學(xué)習(xí)模型
　　在本節(jié)中，你將會(huì)學(xué)到如何客觀地比較R語言機(jī)器學(xué)習(xí)模型。
　　通過本節(jié)中的案例研究，你將為皮馬印第安人糖尿病數(shù)據(jù)集創(chuàng)建一些機(jī)器學(xué)習(xí)模型。然后你將會(huì)使用一系列不同的可視化技術(shù)來比較這些模型的估計(jì)準(zhǔn)確率。
　　本案例研究分為三個(gè)部分：
　　準(zhǔn)備數(shù)據(jù)集：加載庫文件和數(shù)據(jù)集，準(zhǔn)備訓(xùn)練模型。訓(xùn)練模型：在數(shù)據(jù)集上訓(xùn)練標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型，準(zhǔn)備進(jìn)行評(píng)估。比較模型：使用8種不同的技術(shù)比較訓(xùn)練得到的模型。
　　準(zhǔn)備數(shù)據(jù)集
　　本研究案例中使用的數(shù)據(jù)集是皮馬印第安人糖尿病數(shù)據(jù)集，可在UCI機(jī)器學(xué)習(xí)庫中獲取。也可在R中的mlbench包中獲取。
　　這是一個(gè)二元分類問題，預(yù)測(cè)患者在五年之內(nèi)糖尿病是否會(huì)發(fā)作。入?yún)⑹菙?shù)值型，描述了女性患者的醫(yī)療信息。
　　現(xiàn)在來加載庫文件和數(shù)據(jù)集。
　　# load librarieslibrary（mlbench） library（caret） # load the datasetdata（PimaIndiansDiabetes）
　　訓(xùn)練模型
　　在本節(jié)中，我們將會(huì)訓(xùn)練在下一節(jié)中將要比較的5個(gè)機(jī)器學(xué)習(xí)模型。
　　我們將使用重復(fù)交叉驗(yàn)證，folds為10，repeats為3，這是比較模型的常用標(biāo)準(zhǔn)配置。評(píng)估指標(biāo)是精度和kappa，因?yàn)樗鼈兒苋菀捉忉尅?br /> 　　根據(jù)算法的代表性和學(xué)習(xí)風(fēng)格方式進(jìn)行半隨機(jī)選擇。它們有：
　　分類和回歸樹線性判別分析使用徑向基函數(shù)的支持向量機(jī)K-近鄰隨機(jī)森林
　　訓(xùn)練完模型之后，將它們添加到一個(gè)list中，然后調(diào)用resamples（）函數(shù)。此函數(shù)可以檢查模型是可比較的，并且模型都使用同樣的訓(xùn)練方案（訓(xùn)練控制配置）。這個(gè)對(duì)象包含每個(gè)待評(píng)估算法每次折疊和重復(fù)的評(píng)估指標(biāo)。