2023年4月28日晚，信息科學(xué)前沿與產(chǎn)業(yè)創(chuàng)新課程暨信息科學(xué)技術(shù)學(xué)院第九期“知存講座”在理科教學(xué)樓106教室順利舉辦。知存科技創(chuàng)始人兼CEO、北大校友王紹迪先生受邀進(jìn)行了以“AI大模型帶來算力基礎(chǔ)的改變”為主題的分享，30余名師生到場聆聽。本次活動由北京大學(xué)信息科學(xué)技術(shù)學(xué)院副院長王潤聲老師主持。

講座伊始，王紹迪先生簡要介紹了目前的形勢及知存科技的情況。AI大模型達(dá)到奇點，既會產(chǎn)生巨大的經(jīng)濟(jì)效益，為人們的生活帶來重大變革，也會對從應(yīng)用場景到底層算力的產(chǎn)業(yè)整體產(chǎn)生極大影響，還會為國際競爭創(chuàng)造新的戰(zhàn)略支點。作為知存科技的創(chuàng)始人兼CEO，王紹迪先生格外關(guān)注AI大模型在底層算力及其基礎(chǔ)建設(shè)方面產(chǎn)生的影響。知存科技自創(chuàng)立以來一直深耕AI算力領(lǐng)域，在存算一體芯片領(lǐng)域處于國際領(lǐng)先地位，完成了多項從零到一的突破。公司有180余人的專業(yè)團(tuán)隊，累計完成了近8億元融資。在AI大模型不斷發(fā)展的未來，公司將繼續(xù)專注存算一體技術(shù)，致力提升AI的底層算力。

接下來，王紹迪先生從AI大模型的應(yīng)用場景、AI計算大模型需求、近存計算技術(shù)及應(yīng)用與存內(nèi)計算及其大模型應(yīng)用四個方面介紹了AI大模型給算力基礎(chǔ)帶來的影響。

01

AI大模型的應(yīng)用場景

當(dāng)前，AI大模型已經(jīng)從單純的概念革新轉(zhuǎn)變?yōu)榱四軌驇砭薮笊虡I(yè)價值和生產(chǎn)力飛躍的先進(jìn)技術(shù)，應(yīng)用場景十分廣闊，在圖片與視頻分析、代碼生成、數(shù)據(jù)分析、視頻生成等方面都展現(xiàn)出了極強(qiáng)的實力。預(yù)計未來兩到三年內(nèi)，GPT類算法還會有更大幅度的迭代，從而能更好地節(jié)約生產(chǎn)成本，提高生產(chǎn)效率。當(dāng)然，大模型的應(yīng)用也會帶來數(shù)據(jù)安全威脅等一系列問題，相關(guān)監(jiān)管治理措施也有待進(jìn)一步研究和探索。

02

AI計算大模型需求

目前算力的發(fā)展受到多種制約。一方面，摩爾定律趨于失效，硅基算力增長將逐漸達(dá)到極限；另一方面，內(nèi)存的計算性能及存儲器的帶寬提升較慢，不能與計算芯片時鐘速、核數(shù)及存儲器存儲容量的增加相匹配，導(dǎo)致計算效率增長受限，讀寫數(shù)據(jù)功耗增加。功耗是限制算力最大的瓶頸。一定的散熱技術(shù)下，芯片的功耗存在上限，計算的算力也存在相應(yīng)的上限。為了提升算力，必須設(shè)法提高能效，擴(kuò)大數(shù)據(jù)穿透的“門”，讓數(shù)據(jù)更容易在“門”的兩側(cè)間流動。

從智能語音、視覺處理到自動駕駛、AIGC，大模型對參數(shù)量和算力的要求越來越高。算力越高，對數(shù)據(jù)的搬運也越多。實際上，現(xiàn)在所謂的計算中，90%的時間在進(jìn)行數(shù)據(jù)的搬運。在傳統(tǒng)的馮·諾伊曼計算架構(gòu)中，數(shù)據(jù)需要在不同的存儲之間流動，形成龐大的數(shù)據(jù)流。這個計算體系下，硬盤容量大但讀取慢，緩存讀取快但容量小，都不能真正幫助AI進(jìn)行有效計算。現(xiàn)有AI計算最依賴的器件是內(nèi)存，它的容量足夠大，可以容納大部分模型的整體或部分，而且?guī)捯沧銐蚋撸梢灾С指咚俚臄?shù)據(jù)讀寫需求。目前，業(yè)界的優(yōu)化也主要集中在對內(nèi)存與計算芯片之間帶寬的優(yōu)化上。此外，由于單張芯片內(nèi)存的容量有限，一些大模型需要多張芯片互聯(lián)來實現(xiàn)訓(xùn)練或推理。在這個過程中，真正構(gòu)成計算的瓶頸且亟需得到提升的，不是計算芯片單核的計算速度，而是單卡的內(nèi)存與芯片之間，以及多卡之間數(shù)據(jù)交換的速度。

架構(gòu)層面的改進(jìn)也能夠帶來計算效率的提高。相比CPU，GPU對于AI模型的運算效率已經(jīng)高了100倍左右。對于AI大模型這種大參數(shù)量計算，通用計算的效率很低，如果針對模型設(shè)計專用的計算解決方案，將能帶來更大的受益。通過定制化設(shè)計開發(fā)具有專用計算架構(gòu)的專用計算芯片，預(yù)計還能將大模型計算的效率提高10倍左右。

AI算力市場規(guī)模不容小覷。基于現(xiàn)有顯卡及云服務(wù)價格，短期市場規(guī)模預(yù)計可達(dá)15億美元，而中期及長期規(guī)模預(yù)計將分別達(dá)到1200億美元及20000億美元。基于未來方案的成本優(yōu)化及計算算力的成本降低，對未來市場作出的較合理預(yù)測約為中期300億美元，長期1000億美元。可見，AI底層算力的市場將會是一個非常大的專一市場。

03

近存計算技術(shù)及應(yīng)用

怎樣持續(xù)優(yōu)化算力，降低計算成本，提高計算效率呢？存算一體被認(rèn)為是最有效的手段之一。馮·諾伊曼計算架構(gòu)中，內(nèi)存和計算是分開的，而現(xiàn)在主流的高算力芯片已經(jīng)開始采用近存的計算架構(gòu)，將內(nèi)存和計算芯片整合到一起。更高效的存內(nèi)計算架構(gòu)，以及將近存與存內(nèi)結(jié)合在一起的計算架構(gòu)也有巨大的發(fā)展?jié)摿Α?/p>

近存計算是目前商業(yè)化程度最高的存算一體技術(shù)。近存計算起源于2013年AMD和海力士解決內(nèi)存與顯卡之間數(shù)據(jù)帶寬問題的實踐，其基本思想是用集成電路的方式將內(nèi)存和計算芯片結(jié)合在一起，拉近二者之間的距離，從而使其間走線長度更短，密度更大，數(shù)量更多。近存計算有2.5D與3D兩種集成技術(shù)。2.5D技術(shù)將計算芯片與內(nèi)存芯片集成到一個芯片上去，從而在二者間實現(xiàn)芯片工藝的走線，以替代原有的PCB版工藝的走線。這種技術(shù)運用現(xiàn)有的成熟技術(shù)解決問題，是目前最實際的一種解決方案。而3D集成技術(shù)將兩個芯片“貼”在一起，其間的走線密度還能再提高10至100倍，集成密度更大，計算速度更快。

各大廠商都積極采用近存計算技術(shù)，推出了性能先進(jìn)的產(chǎn)品。現(xiàn)在，英偉達(dá)的高帶寬內(nèi)存技術(shù)（HBM，High Bandwidth Memory）采用2.5D與3D相結(jié)合的封裝方式，已經(jīng)過數(shù)次迭代達(dá)到了很高的帶寬，并為蘋果的M1及M2芯片采用；英特爾的智強(qiáng)處理器采用2.5D集成HBM2E內(nèi)存，集成AI訓(xùn)練和推理加速器，能夠更有效地提升相關(guān)計算的速度；AMD通過將所有內(nèi)存直接通過3D方式與計算芯片堆疊在一起，大幅降低了每比特數(shù)據(jù)的傳輸功耗；三星則基于3D封裝技術(shù)，集成計算邏輯芯片與內(nèi)存。

然而，隨著摩爾定律逐漸失效，芯片的成本越來越高。目前，提高10%至20%的速度，要提高約50%的成本，相當(dāng)于速度提高一倍，成本要提高近五倍。未來，獲得更高算力的成本會持續(xù)上漲，產(chǎn)品的價格也會相應(yīng)提高。而且，2.5D與3D的集成方式預(yù)計將在兩三年內(nèi)達(dá)到帶寬極限，未來發(fā)展的挑戰(zhàn)會越來越大。

04

存內(nèi)計算及其大模型應(yīng)用

如上所述，近存計算通過封裝、集成的手段“拉近”內(nèi)存與計算芯片之間的距離，雖然是業(yè)界的主流，也終究存在發(fā)展的極限。而存內(nèi)計算作為更加高效的計算技術(shù)，正在受到越來越廣泛的關(guān)注。

采用內(nèi)存而非硬盤進(jìn)行AI大模型計算的原因，是硬盤雖有很大的容量，但沒有令人滿意的讀寫速度。如果能夠讓存儲單元基于本身的物理特性直接完成計算，就能減少數(shù)據(jù)的流動，從而減小對高帶寬的依賴程度。存內(nèi)計算技術(shù)可分為存內(nèi)計算SoC、3D存內(nèi)計算及2.5D+3D存內(nèi)計算三代技術(shù)，內(nèi)容十分豐富。目前的存內(nèi)計算技術(shù)主要能夠使存儲單元具備乘法與加法計算的能力，雖不完備，卻能覆蓋AI計算的90%左右，能夠大幅提高整體的計算效率。另外，AI大模型對計算精度的要求相對降低，存內(nèi)計算精度可以完成有關(guān)的計算任務(wù)。此外，存內(nèi)計算技術(shù)分布式存儲與計算的特性使它適合于混合專家系統(tǒng)的實現(xiàn)。成本驅(qū)動是底層算力發(fā)展的關(guān)鍵特征。由于對先進(jìn)工藝的依賴較弱，對內(nèi)存帶寬的需求不高，存內(nèi)計算技術(shù)有望大幅降低AI計算成本，展現(xiàn)出良好的發(fā)展前景。

在提問交流環(huán)節(jié)，到場師生就存算一體芯片的優(yōu)勢、挑戰(zhàn)、技術(shù)細(xì)節(jié)，以及知存科技良好發(fā)展的經(jīng)驗等問題與王紹迪先生進(jìn)行了交流。王紹迪先生耐心地解答了大家的問題。

最后，講座在同學(xué)們熱烈的掌聲中圓滿結(jié)束。

審核編輯 ：李倩