一臺(tái)服務(wù)器，不管是物理機(jī)還是虛擬機(jī)，必不可少的就是內(nèi)存，內(nèi)存的性能又是如何來(lái)衡量呢。

1. 內(nèi)存與緩存

現(xiàn)在比較新的CPU一般都有三級(jí)緩存，L1 Cache（32KB-256KB），L2 Cache（128KB-2MB），L3 Cache（1M-32M）。緩存逐漸變大，CPU在取數(shù)據(jù)的時(shí)候，優(yōu)先從緩存去取數(shù)據(jù)，取不到才去內(nèi)存取數(shù)據(jù)。

2. 內(nèi)存與時(shí)延

顯然，越靠近CPU，取數(shù)據(jù)的速度越塊，通過(guò)LMBench進(jìn)行了讀數(shù)延遲的測(cè)試。

從上圖可以看出：

Intel（R） Xeon（R） Platinum 8163 CPU @ 2.50GHz 這款CPU的L1D Cache，L1I Cache為32KB，而L2 Cache為1M，L3為32M;

在對(duì)應(yīng)的Cache中，時(shí)延是穩(wěn)定的;

不同緩存的時(shí)延呈現(xiàn)指數(shù)級(jí)增長(zhǎng);

所以我們?cè)趯?xiě)業(yè)務(wù)代碼的時(shí)候，如果想要更快地提高效率，那么使得計(jì)算更加貼近CPU則可以獲取更好的性能。但是從上圖也可以看出，內(nèi)存的時(shí)延都是納秒為單位，而實(shí)際業(yè)務(wù)中都是毫秒為單位，優(yōu)化的重點(diǎn)應(yīng)該是那些以毫秒為單位的運(yùn)算，而內(nèi)存時(shí)延優(yōu)化這塊則是長(zhǎng)尾部分。

3. 內(nèi)存帶寬

內(nèi)存時(shí)延與緩存其實(shí)可謂是緊密相關(guān)，不理解透徹了，則可能測(cè)的是緩存時(shí)延。同樣測(cè)試內(nèi)存帶寬，如果不是正確的測(cè)試，則測(cè)的是緩存帶寬了。

為了了解內(nèi)存帶寬，有必要去了解下內(nèi)存與CPU的架構(gòu)，早期的CPU與內(nèi)存的架構(gòu)還需要經(jīng)過(guò)北橋總線，現(xiàn)在CPU與內(nèi)存直接已經(jīng)不需要北橋，直接通過(guò)CPU的內(nèi)存控制器（IMC）進(jìn)行內(nèi)存讀取操作：

那對(duì)應(yīng)的內(nèi)存帶寬是怎樣的呢？測(cè)試內(nèi)存帶寬有很多很多工具，linux下一般通過(guò)stream進(jìn)行測(cè)試。簡(jiǎn)單介紹下stream的算法：

stream算法的原理從上圖可以看出非常簡(jiǎn)單：某個(gè)內(nèi)存塊之間的數(shù)據(jù)讀取出來(lái)，經(jīng)過(guò)簡(jiǎn)單的運(yùn)算放入另一個(gè)內(nèi)存塊。那所謂的內(nèi)存帶寬：內(nèi)存帶寬=搬運(yùn)的內(nèi)存大小/耗時(shí)。通過(guò)整機(jī)合理的測(cè)試，可以測(cè)出來(lái)內(nèi)存控制器的帶寬。下圖是某云產(chǎn)品的內(nèi)存帶寬數(shù)據(jù)：

Function Best Rate MB/s Avg time Min time Max time Copy： 128728.5 0.134157 0.133458 0.136076 Scale： 128656.4 0.134349 0.133533 0.137638 Add： 144763.0 0.178851 0.178014 0.181158 Triad： 144779.8 0.178717 0.177993 0.180214

內(nèi)存帶寬的重要性自然不言而喻，這意味著操作內(nèi)存的最大數(shù)據(jù)吞吐量。但是正確合理的測(cè)試非常重要，有幾個(gè)注意事項(xiàng)需要關(guān)注：

內(nèi)存數(shù)組大小的設(shè)置，必須要遠(yuǎn)大于L3 Cache的大小，否則就是測(cè)試緩存的吞吐性能;

CPU數(shù)目很有關(guān)系，一般來(lái)說(shuō)，一兩個(gè)核的計(jì)算能力，是遠(yuǎn)遠(yuǎn)到不了內(nèi)存帶寬的，整機(jī)的CPU全部運(yùn)行起來(lái)，才可以有效地測(cè)試內(nèi)存帶寬。當(dāng)然跑單核的stream測(cè)試也有意義，可以測(cè)試內(nèi)存的延時(shí)。

4. 其他

內(nèi)存與NUMA的關(guān)系：開(kāi)啟NUMA，可以有效地提供內(nèi)存的吞吐性能，降低內(nèi)存時(shí)延。

stream算法的編譯方法選擇：通過(guò)icc編譯，可以有效地提供內(nèi)存帶寬性能分。原因是Intel優(yōu)化了CPU的指令，通過(guò)指令向量化和指令Prefetch操作，加速了數(shù)據(jù)的讀寫(xiě)操作以及指令操作。當(dāng)然其他C代碼都可以通過(guò)icc編譯的方法，提供指令的效率。