近日,阿里巴巴開源了新一代通義千問模型 Qwen3,Arm 率先成為首批成功適配該模型的計(jì)算平臺廠商。與此同時(shí),Arm 面向人工智能 (AI) 框架開發(fā)者的開源計(jì)算內(nèi)核 Arm KleidiAI 與阿里巴巴開源的輕量級深度學(xué)習(xí)框架 MNN 已深度集成。得益于此,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動設(shè)備上無縫運(yùn)行,為用戶提供卓越的端側(cè) AI 推理能力。
作為阿里巴巴最新開源的混合推理模型,Qwen3 在 AIME、LiveCodeBench 等權(quán)威評測集上斬獲了同尺寸開源模型 SOTA。其中,Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等三款模型兼具低功耗和高性能等優(yōu)勢,非常適合在移動端進(jìn)行部署。
在 AI 模型快速迭代、日新月異的當(dāng)下,開發(fā)者亟需一個具備可擴(kuò)展性的通用技術(shù)底座,以便高效利用每一個新模型的優(yōu)勢。作為業(yè)界性能最強(qiáng)、能效最高的計(jì)算平臺,Arm 為開發(fā)者提供了無縫優(yōu)化其 AI 工作負(fù)載所需的卓越性能、能效、靈活性和可擴(kuò)展性。Arm CPU 能滿足不斷發(fā)展的 AI 工作負(fù)載需求,是開發(fā)者的理想之選,它不僅能在模型推出時(shí)迅速實(shí)現(xiàn)適配與支持,還能隨著模型的演進(jìn),通過 Arm 異構(gòu)計(jì)算策略與 GPU、加速器及網(wǎng)絡(luò)技術(shù)的共生協(xié)作,實(shí)現(xiàn) AI 系統(tǒng)的最佳優(yōu)化。在此次阿里 Qwen3 模型推出后,運(yùn)行結(jié)果顯示,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型在基于 Arm 架構(gòu) CPU 的移動設(shè)備上,運(yùn)行和響應(yīng)速度大幅提升,為終端用戶帶來了極致的 AI 推理能力。
雙方圍繞千問大模型持續(xù)緊密合作,今年三月,Arm 與阿里巴巴淘天集團(tuán)在搭載基于 Arm Cortex-X925 的旗艦移動系統(tǒng)級芯片 (SoC) 的智能設(shè)備上,通過 KleidiAI 與 MNN 的集成,模型預(yù)填充(指 AI 模型在生成響應(yīng)之前先對提示詞輸入進(jìn)行處理)性能提升了 57%,以及解碼(指處理提示詞后從 AI 模型生成文本的過程)性能提升了 28%。這一性能提升,使得運(yùn)行在搭載 Arm CPU 上的通義千問 Qwen2-VL-2B-Instruct,其端側(cè)多模態(tài) AI 工作負(fù)載的性能顯著增進(jìn),帶來全新的用戶體驗(yàn)!
展望未來,Arm 也將一如既往助力開發(fā)者在端側(cè)設(shè)備上提供更加復(fù)雜的多模態(tài)體驗(yàn),為新一輪智能計(jì)算浪潮奠定堅(jiān)實(shí)基礎(chǔ),在 AI 的不斷演進(jìn)中,實(shí)現(xiàn)體驗(yàn)的持續(xù)躍升!
-
ARM
+關(guān)注
關(guān)注
134文章
9346瀏覽量
376807 -
cpu
+關(guān)注
關(guān)注
68文章
11070瀏覽量
216770 -
阿里巴巴
+關(guān)注
關(guān)注
7文章
1638瀏覽量
48194 -
模型
+關(guān)注
關(guān)注
1文章
3513瀏覽量
50315
原文標(biāo)題:Arm CPU 精準(zhǔn)適配阿里 Qwen3 開源模型,實(shí)現(xiàn)卓越端側(cè) AI 推理能力
文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
廣和通加速通義千問Qwen3在端側(cè)全面落地
Intel OpenVINO? Day0 實(shí)現(xiàn)阿里通義 Qwen3 快速部署

MediaTek天璣9400率先完成阿里Qwen3模型部署
后摩智能NPU適配通義千問Qwen3系列模型
寒武紀(jì)率先支持Qwen3全系列模型
幾B都有!BM1684X一鍵適配全系列Qwen3

評論