自2012年以來，大規(guī)模的AI訓(xùn)練所使用的數(shù)據(jù)集的計算量以每年10倍的速度增長。比如在2022年11月ChatGPT的版本參數(shù)是1750億個，今年3月的版本使用的參數(shù)則達到1.5萬億個。隨著AI模型數(shù)據(jù)量、復(fù)雜度在增加，HBM內(nèi)存被徹底帶火。這種高帶寬高速的內(nèi)存十分適合于AI訓(xùn)練場景。最近，內(nèi)存芯片廠商已經(jīng)不約而同地切入HBM3E競爭當(dāng)中。內(nèi)存控制器IP廠商Rambus也率先發(fā)布HBM3內(nèi)存控制器產(chǎn)品，應(yīng)對這一需求的到來。

RambusHBM3控制器

Rambus HBM3內(nèi)存控制器IP可提供高達9.6 Gbps的性能，可支持HBM3標準的持續(xù)演進。相比HBM3 Gen1 6.4 Gbps 的數(shù)據(jù)速率，Rambus HBM3內(nèi)存控制器的數(shù)據(jù)速率提高了50%，總內(nèi)存吞吐量超過1.2 TB/s，適用于推理系統(tǒng)的訓(xùn)練、生成式AI以及其他要求苛刻的數(shù)據(jù)中心工作負載。它支持HBM3以及包括被命名為HBM3E的內(nèi)存設(shè)備。

HBM3子系統(tǒng)包含HBM3控制器以及HBM3 PHY（物理層）。Rambus提供的控制器可以跟合作伙伴所提供的PHY來共同應(yīng)用在這些內(nèi)存組件上。如下圖所示。



Rambus 接口IP產(chǎn)品管理和營銷副總裁Joe Salvador先生表示，Rambus提供的是一整套完整的經(jīng)過驗證的解決方案， HBM3控制器不僅作為獨立的產(chǎn)品，而且能夠跟市面上目前比較常見的HBM3以及相關(guān)的內(nèi)存模組進行匹配，像是與SK海力士、美光、三星等廠商完成了一整套的測試。另外，還經(jīng)過了第三方來自西門子Avery的驗證IP。并且與很多第三方PHY（物理層）也都是完全兼容的。



在此不得不提的是，早前Rambus將PHY IP業(yè)務(wù)出售給了Cadence。而在Joe Salvador看來這一戰(zhàn)略性地出售，是與Rambus的商業(yè)生態(tài)有關(guān)。

他表示，我們的PHY業(yè)務(wù)當(dāng)時發(fā)展也非常好，但是我們的控制器IP是提供給包括Cadence以及其他的PHY IP合作伙伴。當(dāng)我們把PHY的業(yè)務(wù)出售給Cadence以后，可以幫助我們更好地去跟其他的PHY合作伙伴合作，因為我們已經(jīng)不構(gòu)成跟他們直接的競爭關(guān)系，而是成為很好的上下游的合作伙伴關(guān)系?？刂破鱅P可以跟客戶所選擇的PHY進行很好的結(jié)合，并且都是能夠通過大量的測試和驗證，盡可能都保證一次流片成功，這對于客戶來說是很大的價值。

Rambus接口IP的產(chǎn)品組合集中供貨給數(shù)據(jù)中心市場以及人工智能和邊緣計算。在內(nèi)存控制器方面，Rambus所支持的內(nèi)存類型包括DDR、LPDDR、GDDR以及HBM。而在接口IP所提供的互聯(lián)控制器，可以支持CXL、PCIe以及MIPI。同時還提供視頻壓縮的IP，可以應(yīng)用在MIPI以及DP（DisplayPort）接口。



此外，Rambus還提供最廣泛的安全IP產(chǎn)品組合以及解決方案。特別是隨著AI的發(fā)展，數(shù)據(jù)安全引來越來越多的關(guān)注。Rambus 大中華區(qū)總經(jīng)理蘇雷先生表示，Rambus提供安全IP全套方案可以為AI的安全保駕護航，這跟Rambus公司的使命，“讓數(shù)據(jù)傳輸更快、更安全”不謀而合。

HBM內(nèi)存控制器的設(shè)計挑戰(zhàn)與Rambus的優(yōu)勢

HBM內(nèi)存控制器的設(shè)計面臨諸多挑戰(zhàn)，首先是對于總體架構(gòu)設(shè)計的復(fù)雜度和了解程度。Rambus已經(jīng)有多年的設(shè)計控制器經(jīng)驗，其中包括HBM、GDDR、LPDDR以及DDR。

“正是因為這多年的經(jīng)驗，使得我們所設(shè)計出來的內(nèi)存控制器可以做到性能高、功耗低，而且對于客戶來說成本也相對較低。”Joe Salvador說道。

其次，Rambus擁有多年跟主流內(nèi)存廠商合作的經(jīng)驗，把內(nèi)存組件納入到控制器的兼容性、以及相關(guān)的性能測試環(huán)節(jié)當(dāng)中進行驗證。同時，在進行架構(gòu)設(shè)計時已經(jīng)留足了一定的自定義配置空間，這樣可以根據(jù)客戶不同需求來選擇相應(yīng)的控制器。

另外，Rambus多年以來所構(gòu)建的測試環(huán)境和驗證環(huán)節(jié)，是跟許多的物理層提供商的合作伙伴共同去搭建的。那么控制器和物理層能夠很好地集成在一起保持兼容，從而使得客戶的子系統(tǒng)設(shè)計更容易成功。

應(yīng)用領(lǐng)域不只于AI

值得注意的是，從規(guī)格的角度上來講，目前所說的HBM3E還不是正式的行業(yè)標準規(guī)格。Joe Salvador說，，雖然英偉達H200已宣稱采用了HBM3E，幾家主流的內(nèi)存廠商也都發(fā)布了HBM3E的內(nèi)存，但實際上指的是9.6Gbps的HBM3。對于后續(xù)HBM4的規(guī)格和標準，目前業(yè)界有許多預(yù)測，Rambus也在進行相應(yīng)的研究，會繼續(xù)努力保持在HBM技術(shù)領(lǐng)域的行業(yè)領(lǐng)先地位。

至于HBM的應(yīng)用領(lǐng)域，未來將不限于在數(shù)據(jù)中心、高性能計算方面。Joe Salvador表示，現(xiàn)在已經(jīng)有一些顯卡在使用HBM內(nèi)存，暫時還不是主流。另外，HBM也可能會進入汽車行業(yè)，盡管目前還沒有看到哪家公司推出經(jīng)過驗證的車規(guī)級芯片使用HBM內(nèi)存，但前景可期。