訓(xùn)練大模型，英偉達(dá)GPU不再是唯一選項(xiàng)。

7月11日，英特爾在北京舉辦AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會(huì)，正式于中國市場(chǎng)推出第二代深度學(xué)習(xí)加速器——Habana Gaudi2。

Habana是成立于2016年的AI芯片廠商，總部位于以色列，為數(shù)據(jù)中心提供可編程深度學(xué)習(xí)加速器。Habana在2019年推出了第一代Gaudi芯片，并在這一年12月被其早期投資人英特爾收購。

其實(shí)在2022年5月，英特爾已經(jīng)發(fā)布過Gaudi2。而這一次在北京的產(chǎn)品發(fā)布，是面向中國市場(chǎng)的“定制版”，類似英偉達(dá)推出A100與H100的定制版A800與H800。

英特爾執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera強(qiáng)調(diào)，Gaudi2是完全合法合規(guī)的。

在性能方面，這款中國定制版訓(xùn)練最主要的性能裁剪在于網(wǎng)絡(luò)端口。Gaudi2有21個(gè)百兆端口，而國際版有24個(gè)。不過，英特爾Habana Labs首席運(yùn)營官Eitan Medina表示，“從客戶使用情況來看，預(yù)計(jì)影響會(huì)非常小”。

Gaudi2的推出，為訓(xùn)練大模型提供了英偉達(dá)之外的替代方案。在此之前，英偉達(dá)的GPU芯片——A100與H100，幾乎壟斷了訓(xùn)練大模型的市場(chǎng)。供需的極度不平衡也讓GPU一芯難求。

相比英偉達(dá)GPU，Gaudi2最顯著的優(yōu)勢(shì)在于“更高的性價(jià)比”。英特爾表示，將致力于為中國用戶提供更高的深度學(xué)習(xí)性能和效率，從而成為大規(guī)模部署AI的更優(yōu)解。

目前，英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器。此外，新華三與超聚變也是英特爾的合作伙伴。

1.用性價(jià)比挑戰(zhàn)英偉達(dá)

目前，業(yè)內(nèi)普遍認(rèn)為生成式AI和大語言模型僅適宜在GPU上運(yùn)行。但英特爾Gaudi2正在向英偉達(dá)發(fā)起挑戰(zhàn)。

Gaudi2深度學(xué)習(xí)加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，采用了臺(tái)積電7nm工藝，專為訓(xùn)練大語言模型而構(gòu)建。該加速器具備：

24個(gè)可編程Tensor處理器核心（TPCs）

21個(gè)100 Gbps（RoCEv2）以太網(wǎng)接口

96GB HBM2E內(nèi)存容量

2.4TB/秒的總內(nèi)存帶寬

48MB片上SRAM

集成多媒體處理引擎

Gaudi2真實(shí)性能表現(xiàn)如何？在發(fā)布會(huì)現(xiàn)場(chǎng)，英特爾多次與英偉達(dá)進(jìn)行參數(shù)對(duì)比。

在6月公布的MLCommons MLPerf基準(zhǔn)測(cè)試（被普遍認(rèn)為是最具信服力的AI性能測(cè)試基準(zhǔn)）結(jié)果中，Gaudi2在GPT-3模型、計(jì)算機(jī)視覺模型ResNet-50（使用8個(gè)加速器）、Unet3D（使用8個(gè)加速器），以及自然語言處理模型BERT（使用8個(gè)和64個(gè)加速器）上均取得了比A100更優(yōu)異的結(jié)果，但還弱于H100。

不僅如此，Gaudi2在性價(jià)比上更具優(yōu)勢(shì)。

在MLCommons剛剛公布的MLPerf訓(xùn)練3.0結(jié)果中，Gaudi2在1750億參數(shù)的GPT-3模型上，從256個(gè)加速器到384個(gè)加速器可實(shí)現(xiàn)接近線性的95%擴(kuò)展效果。

英特爾表示，Gaudi2的每瓦性能大約是A100的兩倍。而隨著性能的進(jìn)一步優(yōu)化，英特爾預(yù)計(jì)在今年9月，Gaudi2的性價(jià)比將會(huì)超過H100。

值得一提的是，Gaudi2是僅有的兩個(gè)向GPT-3大模型訓(xùn)練基準(zhǔn)提交性能結(jié)果的解決方案之一。

英特爾Habana Labs首席運(yùn)營官Eitan Medina強(qiáng)調(diào)：“這說明了其他半導(dǎo)體廠商還無法構(gòu)建針對(duì)GPT-3的解決方案”。

除了模型的訓(xùn)練，還需要模型的推理。Gaudi2可為大規(guī)模的多模態(tài)和語言模型提供出色的推理性能。

在最近的Hugging Face評(píng)估中，Gaudi2在大規(guī)模推理方面的表現(xiàn)，包括在運(yùn)行Stable Diffusion、70億以及1760億參數(shù)BLOOMz模型時(shí)，都在行業(yè)內(nèi)保持領(lǐng)先。

其中，與英偉達(dá)A100相比，Stable Diffusion推理時(shí)延降低2.21倍。

值得一提的是，下一代Gaudi3預(yù)計(jì)在明年推出，采用臺(tái)積電5nm工藝。

2.英特爾的AI戰(zhàn)略

英特爾擁有龐大豐富的產(chǎn)品線，Gaudi2并非唯一的AI產(chǎn)品。

針對(duì)AI在不同場(chǎng)景、不同環(huán)節(jié)的異構(gòu)計(jì)算需求，英特爾將其產(chǎn)品線分為通用計(jì)算與加速計(jì)算。

其中，英特爾的CPU產(chǎn)品，第四代至強(qiáng)處理器解決通用計(jì)算，滿足客戶在大部分模型較小場(chǎng)景的AI推理需求；Gaudi2解決加速計(jì)算，解決大模型的訓(xùn)練及推理需求。

在通用計(jì)算層面，第四代英特爾至強(qiáng)可擴(kuò)展處理器（英特爾AMX）為廣泛的AI負(fù)載和用例提供10倍的推理和訓(xùn)練性能以及代際性能提升，同時(shí)每瓦性能比也比前代提高7.7倍。

在6月底公布的MLPerf訓(xùn)練3.0結(jié)果表明，第四代至強(qiáng)可擴(kuò)展處理器為企業(yè)提供了“開箱即用”的功能，可以在通用系統(tǒng)上部署AI，避免了引入專用AI系統(tǒng)的高昂成本和復(fù)雜性。

第四代至強(qiáng)可擴(kuò)展處理器也能夠支持Stable Diffusion。英偉達(dá)DGX H100系統(tǒng)也會(huì)選擇搭配英特爾CPU，從而為企業(yè)級(jí)AI提供高速、高能效并節(jié)省成本。

百度、美團(tuán)是英特爾AMX的客戶。英特爾AMX助力百度文心一言輕量版ERNIE-Tiny性能提升2.66倍，助力美團(tuán)加速視覺AI推理服務(wù)，成本降低80%。

值得一提的是，在加速計(jì)算層面，英特爾除了推出人工智能專用芯片Gaudi2之外，也在2022年推出了面向數(shù)據(jù)中心的的GPU Max系列（代號(hào)為Ponte Vecchio）。兩款產(chǎn)品在AI計(jì)算層面存在一定的重合度。

對(duì)此，英特爾透露會(huì)在2025年把Gaudi產(chǎn)品線與GPU產(chǎn)品線整合為統(tǒng)一架構(gòu)的新產(chǎn)品，并帶來更好的軟件適配能力與AI處理能力。

此外，正如英偉達(dá)依靠CUDA構(gòu)建護(hù)城河，英特爾也在加強(qiáng)軟件開發(fā)生態(tài)的支持。

英特爾推出的軟件套件針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化，集成了對(duì)TensorFlow和PyTorch框架的支持，并面向400多個(gè)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)AI模型進(jìn)行驗(yàn)證，涵蓋每個(gè)業(yè)務(wù)領(lǐng)域使用的最常見AI用例。

總結(jié)來看，英特爾正在通過異構(gòu)產(chǎn)品組合、開放式的軟件棧以及用于大模型訓(xùn)練的Gaudi2集群，來降低人工智能的準(zhǔn)入門檻，來滿足龐大的市場(chǎng)需求。

芯片是大模型訓(xùn)練及推理的基礎(chǔ)設(shè)施，也是這場(chǎng)大模型淘金熱必不可少的“鏟子”。如今，隨著主流半導(dǎo)體巨頭紛紛布局，這場(chǎng)大模型的芯片戰(zhàn)已經(jīng)徹底打響了。