近日，地平線成功在旭日3中的BPU??計(jì)算單元上，部署運(yùn)行參數(shù)規(guī)模高達(dá)14億的大語言模型（Large Language Model , LLM）。這不僅是業(yè)界在端側(cè)成功部署大模型的一次突破性實(shí)踐，更驗(yàn)證了BPU??對(duì)先進(jìn)神經(jīng)網(wǎng)絡(luò)算法的高效支持，為大模型在端側(cè)實(shí)現(xiàn)產(chǎn)品級(jí)應(yīng)用拓展了更廣闊的想象空間。

大模型端側(cè)部署的技術(shù)實(shí)踐對(duì)加速智能化產(chǎn)業(yè)變革具有重要意義。端側(cè)部署具備實(shí)時(shí)性、低時(shí)延優(yōu)勢(shì)，能夠靈活支持弱網(wǎng)或無網(wǎng)等豐富場(chǎng)景，為終端用戶提供更流暢、穩(wěn)定的交互體驗(yàn)；同時(shí)端側(cè)支持信息本地化處理，可有效保護(hù)用戶數(shù)據(jù)與隱私安全；端側(cè)計(jì)算還將大幅緩解云端算力壓力，端云協(xié)同更會(huì)驅(qū)動(dòng)產(chǎn)業(yè)降本提效，加速實(shí)現(xiàn)大模型技術(shù)的應(yīng)用普惠。

然而，大模型端側(cè)推理部署仍面臨巨大挑戰(zhàn)。區(qū)別于云端推理部署計(jì)算資源應(yīng)用盡用，端側(cè)部署大模型并實(shí)現(xiàn)產(chǎn)品級(jí)應(yīng)用，則需綜合考量不同應(yīng)用間的計(jì)算資源分配，以及計(jì)算效率、帶寬占用與功耗等各項(xiàng)指標(biāo)。如何在眾多約束條件下最大程度地提高大模型端側(cè)推理效率是面臨的首要技術(shù)挑戰(zhàn)。此外，推理過程將大量占用內(nèi)存帶寬，如何在不影響推理結(jié)果的前提下減少內(nèi)存訪問，降低帶寬依賴，進(jìn)而減少推理耗時(shí)，則需要在軟件工程層面進(jìn)行系統(tǒng)優(yōu)化。

作為軟硬協(xié)同技術(shù)路徑的堅(jiān)定踐行者，地平線通過硬件資源的最大化利用和軟件工程的極致優(yōu)化，并成功在5 TOPS算力的邊緣計(jì)算芯片上部署高達(dá)14億級(jí)參數(shù)的大語言模型。這源于旭日3所搭載的雙核BPU??伯努利計(jì)算單元對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計(jì)算處理能力。另一方面，地平線通過軟硬協(xié)同編譯，采用算子重寫、算子重排、算子融合和KV-Cache等技術(shù)，進(jìn)一步優(yōu)化了模型結(jié)構(gòu)，實(shí)現(xiàn)推理速度的成倍提升。

從資源占用情況看，該大語言模型在旭日3上的應(yīng)用效果表現(xiàn)優(yōu)異，CPU占用單核60%、BPU占用單核50%，為后續(xù)其他應(yīng)用預(yù)留充足的算力資源；同時(shí)在5GB/s內(nèi)存帶寬基礎(chǔ)上實(shí)現(xiàn)了約4~5字/秒的生成速度，可充分滿足實(shí)時(shí)性需求；在最能體現(xiàn)真實(shí)效能的FPS/Watt指標(biāo)上，該模型的運(yùn)行效能相較于LLaMA.cpp等純CPU方案提升了2.5倍。這也意味著，旭日3對(duì)此大預(yù)言模型的支持性可達(dá)到產(chǎn)品級(jí)應(yīng)用水平。

地平線現(xiàn)已通過GitHub開放該模型的推理代碼，開發(fā)者可通過RDK X3系列開發(fā)者套件，即刻前往「NodeHub全開源機(jī)器人應(yīng)用中心」推薦項(xiàng)目，嘗鮮體驗(yàn)大語言模型在旭日3上的實(shí)際運(yùn)行效果，更期待各位開發(fā)者參與「星光之路」活動(dòng)，一同探索大模型在旭日3的上層應(yīng)用落地！

我們相信，通過軟硬協(xié)同的技術(shù)路徑，大模型端側(cè)應(yīng)用部署將驅(qū)動(dòng)人機(jī)交互方式變革，多維度提升用戶智能化體驗(yàn)，加速“智能計(jì)算平權(quán)”時(shí)代的到來。