來(lái)源:逍遙科技 逍遙設(shè)計(jì)自動(dòng)化
簡(jiǎn)介
隨著人工智能(AI)應(yīng)用的迅速發(fā)展,對(duì)大帶寬、高效率數(shù)據(jù)傳輸解決方案的需求日益突出。目前用于AI訓(xùn)練和推理的成千上萬(wàn)個(gè)GPU正面臨傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)方案所帶來(lái)的性能瓶頸。這些傳統(tǒng)方案增加了功耗和成本,凸顯了創(chuàng)新解決方案的迫切需求。
光I/O和光電共封裝(CPO)解決方案是最有前途的技術(shù)進(jìn)展之一。通過(guò)優(yōu)化數(shù)據(jù)吞吐量和系統(tǒng)性能,促進(jìn)了大型互聯(lián)AI集群的發(fā)展。這些光學(xué)I/O和光電共封裝解決方案需要?jiǎng)?chuàng)新和高度先進(jìn)的激光封裝策略,以提高系統(tǒng)的性能、可擴(kuò)展性和可靠性,這對(duì)于當(dāng)前盈利的AI基礎(chǔ)設(shè)施部署非常重要。
硅基光電子中的激光封裝硅基光電子通過(guò)使用光信號(hào)而非電信號(hào),改變了邏輯芯片和存儲(chǔ)芯片內(nèi)部及之間的數(shù)據(jù)傳輸方式。這一技術(shù)對(duì)針對(duì)生成式AI的部署變得越來(lái)越重要。傳統(tǒng)的基于銅的解決方案日益限制了這些系統(tǒng)的數(shù)據(jù)流,制約了計(jì)算設(shè)備和存儲(chǔ)容量的集群規(guī)模和數(shù)據(jù)速率。
可插拔光模塊一直是將電信號(hào)轉(zhuǎn)換為光信號(hào)(反之亦然)的最常見(jiàn)方法。CPO技術(shù)成功地將I/O模塊從面板上移開(kāi),將模塊組件與計(jì)算或交換芯片集成到一個(gè)封裝中。協(xié)同封裝將可插拔收發(fā)器的功能直接集成到應(yīng)用專(zhuān)用集成電路(ASIC)旁邊,減少了高帶寬下銅鏈路的信號(hào)損失。
光I/O為分布式計(jì)算系統(tǒng)(如需要高帶寬密度、低能耗和低互連延遲的AI集群)提供了一種更集成、更節(jié)能的解決方案。這是通過(guò)將單個(gè)電光芯片與計(jì)算ASIC封裝在一起來(lái)實(shí)現(xiàn)的,該芯片執(zhí)行由分立模塊構(gòu)建的收發(fā)器的發(fā)送、接收和數(shù)據(jù)轉(zhuǎn)換功能。
CPO和光學(xué)I/O解決方案可以使用集成或遠(yuǎn)程光源為其協(xié)同封裝模塊或芯片提供光學(xué)輸入。讓我們來(lái)研究這兩種選擇,并探討它們的優(yōu)勢(shì)和權(quán)衡。
集成光源集成光源指的是光源與CPO模塊或光I/O芯片共同定位,靠近GPU或其他計(jì)算ASIC的方法。這可以通過(guò)將激光器單獨(dú)制造并與光電子集成芯片(PIC)共同封裝,或者與PIC單片集成制造來(lái)實(shí)現(xiàn)。另一方面,遠(yuǎn)程光源(也稱(chēng)為分離式或外部激光器)是獨(dú)立封裝的,與CPO模塊、光I/O芯片和ASIC物理分離。
現(xiàn)代AI系統(tǒng)需要非常高功耗的GPU或ASIC芯片,這會(huì)導(dǎo)致其周?chē)h(huán)境溫度很高。由于物理接近,集成光源會(huì)經(jīng)歷這些非常高的溫度,而使用遠(yuǎn)程光源的系統(tǒng)可以設(shè)計(jì)為經(jīng)歷更好的熱環(huán)境。
激光器,特別是在先進(jìn)數(shù)據(jù)速率所需的高輸出功率下,是光連接解決方案中在高溫下最容易失效的組件,可能會(huì)導(dǎo)致整個(gè)鏈路失效。遠(yuǎn)程光源的優(yōu)勢(shì)在于其所處的熱環(huán)境要求較低,延長(zhǎng)了其使用壽命,大大降低了故障率和系統(tǒng)停機(jī)時(shí)間。
此外,遠(yuǎn)程激光器可以輕松移除、維修或更換,而不會(huì)干擾其他系統(tǒng)組件,如協(xié)同封裝的GPU和CPO或光I/O芯片。集成光源可能無(wú)法維修,或需要對(duì)昂貴的ASIC封裝進(jìn)行重大修改,從而增加成本和系統(tǒng)停機(jī)時(shí)間。
業(yè)界已經(jīng)制定了外部激光器小型可插拔(ELSFP)規(guī)范,認(rèn)識(shí)到了外部激光器的重要性。這種通用外形因子利用了可插拔模塊的可維修性、可更換性和易部署性?xún)?yōu)勢(shì),以及CPO解決方案的成本、延遲和信道損耗優(yōu)勢(shì),同時(shí)將供應(yīng)商和客戶(hù)生態(tài)系統(tǒng)統(tǒng)一到一個(gè)單一的外形因子上。
需要考慮的因素從成本和可靠性的角度來(lái)看,光源通常是光連接解決方案中最敏感的組件。設(shè)計(jì)師和架構(gòu)師應(yīng)優(yōu)先考慮多樣化的供應(yīng)商和標(biāo)準(zhǔn)化的波長(zhǎng)網(wǎng)格,如使用了二十多年的O波段LR4網(wǎng)格。這種方法確保了低設(shè)計(jì)和供應(yīng)風(fēng)險(xiǎn),并建立了一個(gè)具有吸引力的大批量成本結(jié)構(gòu),這對(duì)于成功部署光學(xué)I/O重要。
連續(xù)波波分復(fù)用多源協(xié)議(CW-WDM MSA)匯集了廣泛的行業(yè)利益相關(guān)者,包括激光器供應(yīng)商、收發(fā)器制造商、CPO和光學(xué)I/O連接供應(yīng)商等,以促進(jìn)解決方案之間的互操作性,減少對(duì)任何單一供應(yīng)商或技術(shù)的依賴(lài)。這種標(biāo)準(zhǔn)化努力對(duì)于支持AI、HPC和其他高價(jià)值、大批量應(yīng)用的解決方案重要。
遠(yuǎn)程光源的作用AI技術(shù)的進(jìn)步和大型語(yǔ)言模型(LLM)的指數(shù)級(jí)增長(zhǎng),要求在計(jì)算和存儲(chǔ)元素之間有新的數(shù)據(jù)傳輸解決方案,來(lái)適應(yīng)模型規(guī)模和令牌數(shù)量的指數(shù)級(jí)增長(zhǎng)。遠(yuǎn)程光源是解決這些瓶頸的光學(xué)I/O解決方案的關(guān)鍵使能技術(shù)。
傳統(tǒng)的網(wǎng)絡(luò)系統(tǒng)在大型系統(tǒng)內(nèi)部的連接高度依賴(lài)交換機(jī),這會(huì)引入延遲并限制高帶寬域的大小。光學(xué)I/O解決方案中通常具有的多波長(zhǎng)、多端口功能使得在多個(gè)設(shè)備之間提供直接、低延遲、高帶寬的連接成為可能。這種方法通過(guò)消除交換機(jī)簡(jiǎn)化了系統(tǒng)架構(gòu),提高了網(wǎng)絡(luò)中數(shù)據(jù)交換的速度和可擴(kuò)展性,從而增加了高帶寬域的大小。
AI架構(gòu)中最大的挑戰(zhàn)之一是"內(nèi)存墻",即快速增加的內(nèi)存與計(jì)算比率導(dǎo)致操作效率受到與處理器芯片一起封裝的高帶寬內(nèi)存(HBM)數(shù)量的限制。當(dāng)遠(yuǎn)程光源作為光I/O解決方案的一部分時(shí),通過(guò)啟用通過(guò)超低延遲、高帶寬鏈路連接到GPU的分離式內(nèi)存集群,緩解了這一瓶頸。
激光封裝技術(shù)現(xiàn)在是克服阻礙AI潛力發(fā)揮的瓶頸的關(guān)鍵構(gòu)建塊。遠(yuǎn)程光源在這一進(jìn)程中發(fā)揮著重要作用,為未來(lái)AI系統(tǒng)的發(fā)展提供了強(qiáng)有力的支持。
參考來(lái)源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049
【近期會(huì)議】
10月30-31日,由寬禁帶半導(dǎo)體國(guó)家工程研究中心主辦的“化合物半導(dǎo)體先進(jìn)技術(shù)及應(yīng)用大會(huì)”將首次與大家在江蘇·常州相見(jiàn),邀您齊聚常州新城希爾頓酒店,解耦產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)布局!https://w.lwc.cn/s/uueAru
11月28-29日,“第二屆半導(dǎo)體先進(jìn)封測(cè)產(chǎn)業(yè)技術(shù)創(chuàng)新大會(huì)”將再次與各位相見(jiàn)于廈門(mén),秉承“延續(xù)去年,創(chuàng)新今年”的思想,仍將由云天半導(dǎo)體與廈門(mén)大學(xué)聯(lián)合主辦,雅時(shí)國(guó)際商訊承辦,邀您齊聚廈門(mén)·海滄融信華邑酒店共探行業(yè)發(fā)展!誠(chéng)邀您報(bào)名參會(huì):https://w.lwc.cn/s/n6FFne
聲明:本網(wǎng)站部分文章轉(zhuǎn)載自網(wǎng)絡(luò),轉(zhuǎn)發(fā)僅為更大范圍傳播。 轉(zhuǎn)載文章版權(quán)歸原作者所有,如有異議,請(qǐng)聯(lián)系我們修改或刪除。聯(lián)系郵箱:viviz@actintl.com.hk, 電話(huà):0755-25988573
審核編輯 黃宇
-
激光
+關(guān)注
關(guān)注
20文章
3459瀏覽量
66150 -
封裝
+關(guān)注
關(guān)注
128文章
8635瀏覽量
145287 -
人工智能
+關(guān)注
關(guān)注
1806文章
48971瀏覽量
248681
發(fā)布評(píng)論請(qǐng)先 登錄
最新人工智能硬件培訓(xùn)AI 基礎(chǔ)入門(mén)學(xué)習(xí)課程參考2025版(大模型篇)
奧迪威入圍 2024 廣州人工智能創(chuàng)新發(fā)展榜單

評(píng)論