開發敏捷的軟件堆棧對 AI 在邊緣側的成功部署非常重要。基于多種 AI 框架創建的新機器學習模型已經不再罕見,這些框架采用了最新的算子和最先進的機器學習模型拓撲。就像寒武紀生命大爆發一樣,其快速發展源于富有創造性的開源社區對 AI 技術的廣泛采納,并在邊緣側不斷推動機器學習模型的應用。
這些模型由學術界和工業界共同創建,使用了最尖端工具和概念;因此,在高性能、最新的 AI 軟件堆棧上高效運行這些模型對任何組織而言都很復雜。
得益于多年的專業領域積累,Cadence 擁有業界領先的基礎設計 IP,為全球的計算平臺提供支持。Cadence 在 IP 市場的領先地位推動了現有客戶和合作伙伴對人工智能計算需求的不斷增長。過去二十年來,Tensilica 成功提供了可擴展、可配置的處理器 IP,被大量客戶用于邊緣側的 SoC 設計。Tensilica IP 被廣泛應用于音頻、視覺、雷達、汽車和基于微控制器的子系統。
考慮到 Cadence 處理器 IP 被廣泛使用,以及 AI 推理在各個細分市場的應用,我們致力于推出通用的“一站式”解決方案,為客戶提供統一的、可擴展、可配置的 ML 軟件堆棧。一站式工具理念是我們整體 AI 軟件產品的核心。
一款通用的軟件接口和工具將大幅縮短客戶產品的上市時間,助其更好地為不斷發展的 AI 市場做好準備。
從超低功耗、永遠在線的使用場景到 ADAS 和自動駕駛等高端車載應用,在邊緣側可以看到各類用例。這些用例對 AI 的計算需求從每秒幾千兆次運算(GOPS)到每秒數萬億次運算(TOPS)不等。
? ? ? ? ?
圖1:適用于所有垂直市場的通用 AI 軟件工具
我們的目標是在高性能機器學習編譯器堆棧的各個方面改進我們的產品,包括統一的前端設計、通用的中間表示法、對混合精度量化格式的支持、無損壓縮技術、圖和張量優化等。
這些技術將在各類 AI 部署的場景中幫助客戶,例如使用基于委派模式的框架進行提前編譯、即時編譯和/或運行時解釋器框架。
? ? ? ? ?
圖2:AI 軟件堆棧支柱
客戶可以在流片前進行 ML 工作負載的軟件仿真并提取關鍵 KPI。在軟硬件協同設計階段,擁有這些準確的指標是非常有價值的。迭代各類 ML 模型,微調可配置參數以從硬件 IP 中獲得最大性能是每個 SoC 架構師的基本目標。
? ? ? ? ?
圖3:實現軟硬件協同設計
利用開源工具實現 Cadence AI 軟件堆棧的同時,我們也積極參與開放論壇,為開源社區做出貢獻。作為嵌入式 IP 領域的市場領先者,Cadence 與全球各地的合作伙伴協作,致力于為細分市場提供領先的 AI 解決方案。
審核編輯:劉清
-
Cadence
+關注
關注
67文章
968瀏覽量
144102 -
adas
+關注
關注
310文章
2249瀏覽量
210066 -
自動駕駛
+關注
關注
788文章
14266瀏覽量
170196 -
ai技術
+關注
關注
1文章
1308瀏覽量
25081
原文標題:通用 Tensilica 軟件堆棧提供最佳邊緣 AI 性能
文章出處:【微信號:gh_fca7f1c2678a,微信公眾號:Cadence楷登】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
芯原可擴展的高性能GPGPU-AI計算IP賦能汽車與邊緣服務器AI解決方案
Cadence推出Tensilica NeuroEdge 130 AI協處理器
意法半導體邊緣AI套件中提供的全部工具
AI賦能邊緣網關:開啟智能時代的新藍海
英飛凌發布邊緣AI軟件新品牌DEEPCRAFT?
TI解讀:嵌啟未來 邊緣AI不邊緣

邊緣計算架構設計最佳實踐
NVIDIA IGX平臺加速實時邊緣AI應用

華邦電子為邊緣設備打造生成式AI性能
NVIDIA Jetson Orin系列邊緣計算主機

評論