三張圖
在Xilinx官網(wǎng)找資料無(wú)意中在應(yīng)用—>AI推斷加速中看到了下面三張圖,頓覺(jué)“眾里尋他千百度,驀然回首,那人卻在燈火闌珊處”的意思了。三張圖非常通俗易懂的介紹了FPGA/ACAP這樣的體系結(jié)構(gòu)在AI推理中的優(yōu)勢(shì)。
1. CPU/GPU實(shí)現(xiàn)中為了達(dá)到高吞吐量高性能,必須(要一次輸入足夠多的數(shù)據(jù),但這會(huì)因?yàn)閿?shù)據(jù)的準(zhǔn)備和同步而增加延時(shí))從而導(dǎo)致只能在高吞吐量或低延時(shí)中選擇其一。
2. FPGA/ACAP 覆蓋的應(yīng)用極其廣泛在IT,CT,OT中都深耕多年,積累的IP和應(yīng)用也非常豐富。在目前AI滲透到各個(gè)行業(yè)的時(shí)代,通過(guò)FPGA的自定義AI加速器可以快速,緊密耦合到已有的應(yīng)用。同時(shí)不僅僅是在AI部分加速,還可以在網(wǎng)絡(luò),存儲(chǔ)等等對(duì)應(yīng)用整體進(jìn)行加速提高效能。
3. 人工智能/深度學(xué)習(xí)的模型在快速變化,利用新的Domain Specific Architecture的平臺(tái),可以快速完成新的模型設(shè)計(jì),快速完成迭代。
遺珠
無(wú)獨(dú)有偶,在Apple的開(kāi)發(fā)者大會(huì)相關(guān)的報(bào)道中,當(dāng)大家在討論iPad OS,驚嘆Mac 價(jià)格和配置時(shí),往往漏掉了一則重要的信息,在Mac Pro中,除了CPU, GPU用戶還可以選裝FPGA加速卡,幫助Mac Pro視頻編輯的用戶同時(shí)處理3路8K視頻流或者12路4K視頻流。開(kāi)個(gè)小腦洞,也許在未來(lái)的某一年,突然發(fā)現(xiàn)每個(gè)工作站都會(huì)配備的FPGA 加速卡,利用FPGA加速特定的應(yīng)用服務(wù)。將來(lái)的APP Store中會(huì)不會(huì)順便賣(mài)賣(mài)加速的Overlay呢?
編輯:hfy
-
FPGA
+關(guān)注
關(guān)注
1645文章
22022瀏覽量
617373 -
gpu
+關(guān)注
關(guān)注
28文章
4934瀏覽量
131057
發(fā)布評(píng)論請(qǐng)先 登錄
NVIDIA 在首個(gè)AI推理基準(zhǔn)測(cè)試中大放異彩
ACAP的主要架構(gòu)創(chuàng)新解析
在芯片設(shè)計(jì)中FPGA的優(yōu)勢(shì)是什么?
當(dāng)AI遇上FPGA會(huì)產(chǎn)生怎樣的反應(yīng)
深度剖析OpenHarmony AI調(diào)度管理與推理接口
請(qǐng)問(wèn)一下rknn多圖推理參數(shù)該怎樣去設(shè)置呢
FPGA發(fā)明以來(lái)最偉大的技術(shù)ACAP解析
車(chē)道的視覺(jué)識(shí)別缺陷:三張紙片將特斯拉“騙”上錯(cuò)誤路線
中國(guó)廣電讓中國(guó)市場(chǎng)擁有了三張5G網(wǎng)

三張接線圖搞定步進(jìn)電機(jī)接線問(wèn)題!

三張圖搞懂三極管的三種狀態(tài)資料下載

利用FPGA構(gòu)建邊緣AI推理的解決方案
FPGA和ASIC在大模型推理加速中的應(yīng)用

評(píng)論