前言： 近日，芯片行業(yè)的領(lǐng)軍企業(yè)Cerebras Systems宣布推出其革命性的產(chǎn)品——Wafer Scale Engine 3，該產(chǎn)品成功將現(xiàn)有最快AI芯片的世界紀(jì)錄提升了一倍。

WSE-3 AI芯片比英偉達(dá)H100大56倍

WSE-3芯片采用了臺(tái)積電先進(jìn)的5納米工藝技術(shù)，集成了超過4萬億個(gè)晶體管與90萬個(gè)核心，展現(xiàn)出驚人的125 petaflops計(jì)算性能。

此芯片不僅是臺(tái)積電目前能制造的最大方形芯片，其獨(dú)特的44GB片上SRAM設(shè)計(jì)。

摒棄了傳統(tǒng)的片外HBM3E或DDR5內(nèi)存方式，使內(nèi)存與核心緊密結(jié)合，極大縮短了數(shù)據(jù)處理與計(jì)算的距離，提升了整體運(yùn)算效率。

另一方面，Cerebras的CS-3系統(tǒng)代表了Wafer Scale技術(shù)的第三代成就。

其頂部配置有先進(jìn)的MTP/MPO光纖連接，以及完備的冷卻系統(tǒng)包括電源、風(fēng)扇和冗余泵，確保了系統(tǒng)在高負(fù)荷運(yùn)行時(shí)的穩(wěn)定與可靠。

相較于前代產(chǎn)品，CS-3系統(tǒng)及其新型芯片在保持相同功耗和成本的同時(shí)，實(shí)現(xiàn)了近兩倍的性能提升。

值得注意的是，WSE-3芯片的核心數(shù)量高達(dá)英偉達(dá)H100 Tensor Core的52倍。

由WSE-3驅(qū)動(dòng)的Cerebras CS-3系統(tǒng)在訓(xùn)練速度上比英偉達(dá)的DGX H100系統(tǒng)快了8倍，內(nèi)存擴(kuò)大了1900倍。

更令人震驚的是，CS-3系統(tǒng)能夠支持高達(dá)24萬億個(gè)參數(shù)的AI模型訓(xùn)練，這一數(shù)字是DGX H100的600倍。Cerebras公司高管表示，CS-3系統(tǒng)的能力已全面超越DGX H100。

舉例來說，原本在GPU上需要30天才能完成的Llama 700億參數(shù)模型訓(xùn)練，現(xiàn)在通過CS-3集群僅需一天即可完成。

第三代產(chǎn)品成功破圈

WSE-3在保持與前代產(chǎn)品Cerebras WSE-2相同功耗和價(jià)格的同時(shí)，其性能卻實(shí)現(xiàn)了翻番，這無疑是對(duì)市場的一次重大突破。

WSE-3是Cerebras第三代產(chǎn)品，展現(xiàn)了其在晶圓級(jí)芯片設(shè)計(jì)和制造方面的技術(shù)積累。

第一代WSE于2019年推出，采用臺(tái)積電16nm工藝；第二代WSE-2于2021年發(fā)布，采用7nm工藝；WSE-3則使用5nm技術(shù)。

相比第一代，WSE-3的晶體管數(shù)量增加了兩倍以上，達(dá)到了4萬億的規(guī)模。根據(jù)其官方介紹，與晶體管數(shù)量的增長相比，芯片上的計(jì)算單元、內(nèi)存和帶寬的增長速度有所放緩。

這反映出Cerebras在追求整體性能提升的同時(shí)，也在芯片面積、功耗和成本之間進(jìn)行權(quán)衡。

通過多代產(chǎn)品的迭代,Cerebras掌握了晶圓級(jí)芯片設(shè)計(jì)和制造的核心技術(shù)，為未來的創(chuàng)新奠定了基礎(chǔ)。

專為AI打造的計(jì)算能力

以往，在傳統(tǒng)的GPU集群環(huán)境下，研究團(tuán)隊(duì)在分配模型時(shí)不僅需要科學(xué)嚴(yán)謹(jǐn)，還需應(yīng)對(duì)一系列復(fù)雜的挑戰(zhàn)，如處理器單元的內(nèi)存容量限制、互聯(lián)帶寬的瓶頸以及同步機(jī)制的協(xié)調(diào)等。

此外，團(tuán)隊(duì)還需持續(xù)調(diào)整超參數(shù)并開展優(yōu)化實(shí)驗(yàn)，以確保模型的性能達(dá)到最佳狀態(tài)。

然而，這些努力常常因微小的變動(dòng)而受到影響，導(dǎo)致解決問題所需的總時(shí)間進(jìn)一步延長，增加了研究的復(fù)雜性和不確定性。

相比之下，WSE-3的每一個(gè)核心均具備獨(dú)立編程的能力，并且針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和深度學(xué)習(xí)推理中所需的基于張量的稀疏線性代數(shù)運(yùn)算進(jìn)行了專門的優(yōu)化。

這一特點(diǎn)使得研究團(tuán)隊(duì)能夠在WSE-3的支持下，以前所未有的速度和規(guī)模高效地訓(xùn)練和運(yùn)行AI模型，同時(shí)避免了復(fù)雜分布式編程技巧的需求。

WSE-3配備的44GB片上SRAM內(nèi)存均勻分布在芯片表面，使得每個(gè)核心都能在單個(gè)時(shí)鐘周期內(nèi)以極高的帶寬（21 PB/s）訪問到快速內(nèi)存，是當(dāng)今地表最強(qiáng)GPU英偉達(dá)H100的7000倍。

而WSE-3的片上互連技術(shù)，更是實(shí)現(xiàn)了核心間驚人的214 Pb/s互連帶寬，是H100系統(tǒng)的3715倍。

CS-3可以配置為多達(dá)2048個(gè)系統(tǒng)的集群，可實(shí)現(xiàn)高達(dá)256 exaFLOPs的AI計(jì)算，專為快速訓(xùn)練GPT-5規(guī)模的模型而設(shè)計(jì)。

大幅簡化并行編程復(fù)雜度

傳統(tǒng)的集群建設(shè)方式，通常需要數(shù)以萬計(jì)的GPU或AI加速器來協(xié)同解決某一問題。

在英偉達(dá)所構(gòu)建的GPU集群中，這些集群通過Infiniband、以太網(wǎng)、PCIe和NVLink交換機(jī)等設(shè)備進(jìn)行連接，其中大部分功率和成本均投入到芯片間的重新連接上。

此外，為了管理這些芯片間的互連、通信和同步，還需編寫大量的代碼，這無疑增加了并行編程的復(fù)雜性。

然而，Cerebras采用了一種與英偉達(dá)截然不同的方法。他們選擇保留整個(gè)晶圓，因此所需的芯片數(shù)量減少了50倍以上，從而顯著降低了互連和網(wǎng)絡(luò)的復(fù)雜性和成本。

在軟件層面，Cerebras提供了一套優(yōu)化的軟件棧，其中包括內(nèi)置的通信機(jī)制和自動(dòng)化的內(nèi)存管理。

這使得開發(fā)人員能夠使用更少的代碼實(shí)現(xiàn)復(fù)雜的模型，從而大幅降低了編程負(fù)擔(dān)。

這種軟硬件協(xié)同優(yōu)化的策略，不僅簡化了開發(fā)過程，也加速了AI應(yīng)用的開發(fā)和部署。

業(yè)務(wù)模式與傳統(tǒng)廠商存在顯著差異

傳統(tǒng)上，英偉達(dá)、AMD、英特爾等公司傾向于采用大型臺(tái)積電晶圓，并將其切割成更小的部分以生產(chǎn)芯片。

然而，Cerebras卻選擇了一種截然不同的路徑，它保留了晶圓的完整性。

在當(dāng)前高度互聯(lián)的計(jì)算集群中，數(shù)以萬計(jì)的GPU或AI加速器協(xié)同工作以處理復(fù)雜問題。

Cerebras的策略將芯片數(shù)量減少50倍以上，從而顯著降低了互連和網(wǎng)絡(luò)成本，同時(shí)減少了功耗。

在英偉達(dá)GPU集群中，這些集群配備了Infiniband、以太網(wǎng)、PCIe和NVLink交換機(jī)，大量的電力和成本消耗在重新鏈接芯片上。

通過維持整個(gè)芯片的完整性，Cerebras有效地解決了這一問題。

憑借WSE-3，Cerebras繼續(xù)鞏固其作為全球最大單芯片生產(chǎn)者的地位。

這款芯片呈正方形，邊長達(dá)到21.5厘米，幾乎占據(jù)了整個(gè)300毫米硅片的面積。

將Cerebras的設(shè)計(jì)理念與拼圖游戲進(jìn)行類比，可以清晰地揭示其創(chuàng)新之處。

傳統(tǒng)的芯片制造過程類似于將拼圖切成小塊并逐一拼接，而Cerebras的方法則更像是保持拼圖的完整性，使得各部件之間的連接更加緊密，從而提升了整體效率和性能。

這種前瞻性的設(shè)計(jì)理念為WSE-3芯片的成功提供了堅(jiān)實(shí)的基石。

結(jié)尾：

綜合評(píng)估，WSE-3標(biāo)志著人工智能芯片設(shè)計(jì)領(lǐng)域的新趨勢，它以單片規(guī)模之巨實(shí)現(xiàn)了性能與效率的顯著提升。

對(duì)于其他公司而言，若要復(fù)制此類產(chǎn)品，必須在晶圓制造、封裝互連、系統(tǒng)集成及軟件棧等多個(gè)領(lǐng)域投入長期的研發(fā)努力，并克服眾多技術(shù)難關(guān)。

Cerebras之所以能夠在市場中脫穎而出，其關(guān)鍵在于這些領(lǐng)域中所展現(xiàn)的持續(xù)創(chuàng)新能力及突破。

審核編輯：劉清