DeepSeek開源模型的熱度席卷全球,其高效性和易用性正在成為推動AI技術(shù)普惠化的重要力量。后摩智能作為國產(chǎn)存算一體AI芯片的領(lǐng)軍企業(yè),自研的后摩漫界M30芯片成功適配DeepSeek-R1-Distill-Qwen系列模型,包括1.5B、7B、14B等。這一成果不僅證明了存算一體芯片架構(gòu)在大模型高效部署中的顯著優(yōu)勢,也為端邊大模型的廣泛應(yīng)用提供了強大的技術(shù)支撐。
DeepSeek-R1-Distill-Qwen-7B模型在M30上運行
性能數(shù)據(jù):
· 上下文長度:8K
· 首字速度:<1s
· Decode速度:17 tokens/s
后摩智能的M30芯片專為端邊部署大模型而設(shè)計,其低功耗的核心優(yōu)勢使其在端邊應(yīng)用場景中表現(xiàn)出色,M30芯片具備強大的物理算力,達到100~256 TOPS@INT8,同時典型功耗僅為12~35W,能夠在保持高性能的同時顯著降低能耗。此次適配DeepSeek-R1-Distill-Qwen系列模型的成功,進一步驗證了M30芯片在處理復(fù)雜AI任務(wù)時的高效性和穩(wěn)定性。隨著AI技術(shù)向端側(cè)和邊緣側(cè)的快速轉(zhuǎn)移,后摩智能的存算一體技術(shù)的突破為國產(chǎn)AI芯片在端邊大模型領(lǐng)域的應(yīng)用樹立了新的標(biāo)桿,也為未來更多創(chuàng)新應(yīng)用的落地奠定了堅實基礎(chǔ)。
為了更好地推動端邊大模型的廣泛應(yīng)用,后摩智能推出了基于M30芯片打造的系列產(chǎn)品——力謀SM30計算模組、力謀LM30智能加速卡、力謀BX30 計算盒子,以滿足不同場景下的多樣化需求。
力謀SM30計算模組
以力謀SM30計算模組為例,這是一款是基于M30芯片打造的智算模組(SoM),支持PCIe EP模式。該模組以其小巧的體積、強勁的性能和極低的功耗,成為小型化設(shè)備和功耗敏感嵌入式場景的理想選擇。力謀SM30計算模組的物理算力為50/100 TOPS@INT8,典型功耗低于23W,支持8路FHD的編解碼,并兼容PCIe 4.0接口。其低功耗和高性能的特點使其能夠在資源受限的環(huán)境中高效運行,為邊緣計算和端側(cè)設(shè)備提供了強大的算力支持。
DeepSeek開源模型以其高效的推理能力和較低的部署成本,正在推動AI技術(shù)的普惠化。后摩智能自研的存算一體架構(gòu),突破了傳統(tǒng)馮·諾依曼架構(gòu)的瓶頸,將存儲與計算緊密結(jié)合,大幅減少了數(shù)據(jù)傳輸延遲,呈現(xiàn)出大算力、低功耗的獨特優(yōu)勢,顯著提升了模型運行效率。通過后摩智能存算一體芯片與DeepSeek模型的架構(gòu)級協(xié)同,不僅驗證了國產(chǎn)技術(shù)棧的完整競爭力,更創(chuàng)造了AI普惠化的中國范式——讓每瓦特算力都能承載最前沿的智能。
全球AI大模型賽道進入戰(zhàn)略窗口期,DeepSeek通過模型創(chuàng)新構(gòu)建輕量化智能基座,后摩智能的存算一體芯片則以物理級能效突破重構(gòu)計算邊界。這種從底層芯片到頂層模型的顛覆式創(chuàng)新,必將催生大模型落地新定律,期待國產(chǎn)技術(shù)組合能夠“改寫天命”,開辟出超越摩爾定律的進化路徑。
-
AI
+關(guān)注
關(guān)注
88文章
34890瀏覽量
277700 -
后摩智能
+關(guān)注
關(guān)注
0文章
34瀏覽量
1348 -
DeepSeek
+關(guān)注
關(guān)注
1文章
793瀏覽量
1592
原文標(biāo)題:開源破局 x 低功耗守護 : Deepseek與存算一體如何演繹AI界的"哪吒鬧海"?
文章出處:【微信號:后摩智能,微信公眾號:后摩智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
如何使用OpenVINO運行DeepSeek-R1蒸餾模型

RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南
后摩智能攜手聯(lián)想開天打造基于DeepSeek的信創(chuàng)AI PC
了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應(yīng)用選擇
超星未來驚蟄R1芯片適配DeepSeek-R1模型
Deepseek R1大模型離線部署教程

AIBOX 全系產(chǎn)品已適配 DeepSeek-R1

deepin UOS AI接入DeepSeek-R1模型
芯動力神速適配DeepSeek-R1大模型,AI芯片設(shè)計邁入“快車道”!

評論