5月17日，神州鯤泰智算中國行北京站盛大召開。在本次活動上，神州鯤泰針對用戶對大模型訓練、大算力需求的痛點，重磅發(fā)布多云異構環(huán)境下智算中心綠色著陸的產(chǎn)品及方案，包含異構智算調(diào)度運營平臺HISO、異構智算加速平臺HICA以及一體化交付的神州鯤泰全液冷整機柜產(chǎn)品。幫助企業(yè)客戶在整個異構智算資源池中匹配更優(yōu)算力組合、有效提升GPU服務器集群的資源使用效率、有效解決節(jié)點和節(jié)點間互聯(lián)的能耗問題，助力企業(yè)構建性能更優(yōu)、成本更低、能效更高、能耗更低的智算基礎設施底座。

神州數(shù)碼信創(chuàng)業(yè)務集團副總裁、研發(fā)中心總經(jīng)理周川

異構智算時代，企業(yè)智算落地如何降本增效？

在全新的異構智算時代，多云異構智算基礎設施已成為必然，一個獨特的“智算攢機時代”，正在呼喚全新的智算架構。與此同時，隨著大模型和生成式AI加速落地，大量的模型訓練和推理任務，在喚醒底層算力海量需求的同時，也對資源利用率提出了巨大挑戰(zhàn)。有關資料顯示，OpenAI訓練GPT-4的MFU（Model Flops Utility）在32%到36%之間。而目前行業(yè)MFU利用率的平均水平僅為30%~40%，智算資源利用率的提升將為企業(yè)節(jié)省大量成本。

能耗是另一個大的挑戰(zhàn)，算力本身會成為主要的能耗和二氧化碳排放來源，更不用說GPU的能耗本身是CPU能耗的2倍以上。根據(jù)MIT研究表明，未來人類需要為人工智能相關應用新增10%的能源需求，形象的說，“煉”大模型會比煉鋼還費電。對于一個企業(yè)來說，每新增一個用于智算的機架，其運行一年約等于增加15w度電，夠100個家庭生活用電一年，約排放1.5噸二氧化碳，能耗和碳排放都十分巨大。

盡精微，神州鯤泰“雙管齊下”提升算力資源利用率

神州鯤泰推出異構智算調(diào)度運營平臺HISO、異構智算加速平臺HICA，有效解決智算集群間以及集群內(nèi)面臨的復雜異構兼容問題，顯著提升算力資源的利用率。

神州鯤泰異構智算調(diào)度運營平臺HISO基于云原生技術，整合GPU硬分片和虛擬分片技術，能實現(xiàn)GPU資源虛擬化或池化，完成跨集群之間的算力調(diào)度。根據(jù)用戶業(yè)務需求，該平臺可以在整個異構智算資源池中匹配優(yōu)選算力組合，提升GPU服務器集群的資源使用率。神州鯤泰異構智算調(diào)度運營平臺HISO擁有將國內(nèi)外GPU資源混合組網(wǎng)、混搭調(diào)度，算力精細隔離等關鍵能力，可以“像管理一臺GPU主機一樣，管理和調(diào)度多個集群的GPU資源”。通過GPU容器直通、IaaS卸載，該平臺加速了模型加載時間，相比傳統(tǒng)方式，模型加載速度提升３倍。同時還能實時收集智算中心全棧、全鏈路指標，發(fā)現(xiàn)和定位軟硬件故障，實現(xiàn)算力可觀測性。

神州鯤泰異構智算加速平臺HICA則著重解決集群內(nèi)部的算力調(diào)度優(yōu)化問題，通過屏蔽集群內(nèi)底層算力生態(tài)差異，突破關鍵計算效率瓶頸，有效提升算力利用率與可用性。神州鯤泰異構智算加速平臺HICA通過自研的服務層、中間適配層以及調(diào)度編排算法，采用數(shù)據(jù)并行、模型并行等方式，把并行計算任務進行有效分解，匹配相應的軟件棧和算力資源來承接。當GPU資源變化，該平臺可以實時動態(tài)調(diào)度計算子任務并調(diào)整模型拓撲和架構，以充分聚合各種算力資源。

神州鯤泰異構智算加速平臺HICA具有一云多芯特性，支持國內(nèi)外主流AI芯片，可實現(xiàn)訓練推理任務在不同品牌、不同型號芯片組成的智算集群中的混合訓練推理，預計可降低20%閑置算力。

此外，根據(jù)不同模型、不同算子之間集合通信流特點，該平臺還可自適應選擇最合適的通信參數(shù)，達到更高的通信效率。同時，在不同模型運行過程中，充分考慮存算比要求的不同，異構智算加速平臺HICA還可從宏觀到微觀多個尺度選擇最合適的存算比資源加載模型，加速吞吐，降低時延，使MFU提升10~20%，MBU提升5%。

硅光+液冷冷卻跳動的電表，一體化交付讓客戶省時省力

隨著生成式AI落地對算力需求的暴漲、帶寬的狂飆提速，智算中心節(jié)點的高能耗痛點日益加劇。而以一個萬卡智算中心為例，采用200G接口互聯(lián)，需要約80000個光模塊，其互聯(lián)所需的能耗則占到總體的5%。節(jié)點間互聯(lián)的高能耗問題也日益凸顯。

針對節(jié)點間互聯(lián)的能耗問題，神州鯤泰采用硅光技術，通過單光源多調(diào)制器，降低調(diào)制器電壓，同時采用分布式反饋激光器等一系列技術，有效降低25%的互聯(lián)能耗。

同時，針對節(jié)點的能耗問題，神州鯤泰推出液冷服務器，通過一體化冷板，智能流量調(diào)節(jié)來提升系統(tǒng)的散熱效率，采用負壓管線系統(tǒng)，漏液近端探測技術，并聯(lián)動服務管控系統(tǒng)提升冷卻系統(tǒng)的可靠性，有效降低30%的節(jié)點能耗。

而為了幫助客戶規(guī)避接口多、接頭復雜、現(xiàn)場實施部署難度大、實施周期長等難題，數(shù)云原力大會2024開幕式上，神州鯤泰正式發(fā)布“KunTai Pod2000全液冷整機柜”方案產(chǎn)品。采用一體化交付方式，有效降低部署和運維的復雜度的同時，整機柜還能實現(xiàn)100%全液冷及高性價比液冷方案，助力數(shù)據(jù)中心PUE邁向1.15，并且憑借60KW+的最大單柜功率，實現(xiàn)1.5倍于行業(yè)平均水平的能效比，在為客戶提供強大算力的同時有效控制能耗成本。

神州鯤泰整機柜產(chǎn)品搭載鯤鵬+昇騰主板，一體化交付的方式已經(jīng)在運營商客戶得到落地驗證，廣受好評，硅光+液冷更是讓整機柜產(chǎn)品得到全面升級，為客戶打造出功能更強、能耗更低、效率更高的智算中心。

隨著2022年底ChatGPT的問世，AI正成為推動創(chuàng)新的核心引擎。現(xiàn)在的IT基礎架構已經(jīng)到了一個由模型和算力相互促進，螺旋上升的新發(fā)展階段。面對新的發(fā)展機遇，神州鯤泰從智算中心系統(tǒng)整體性能提升出發(fā)，提出了走新智算架構之路的策略，建立了高通量、高并行、高效率，低能耗的多樣化智算架構。新的智算架構能夠快部署、低投入地突破算力瓶頸，構建出性能更優(yōu)、成本更低、能效更高的智算中心。未來每個智算中心，每臺計算機都將是這樣一種新的智算架構，從而實現(xiàn)算力的普惠。

審核編輯 黃宇