作者：Poornima Apte

投稿人：DigiKey 北美編輯

在過去的幾年里，邊緣 AI 越來越受歡迎。預計到 2035 年前，相關全球市場將以 27.8% 的復合年增長率增長，凈值增至 3568.4 億美元。

這種需求是多種因素推動的結果。公司普遍對將敏感或專有信息傳送到云端存在安全顧慮，而在邊緣處理數則可消除這種顧慮。邊緣處理還能減少延遲，這在需要瞬間做出決策的實時應用中可能非常重要。工業物聯網 (IIoT) 設備提供數據驅動的操作，這反過來又增加了邊緣 AI 的用例。從便攜式醫療設備到可穿戴設備和 IIoT，快速擴展的應用正在推動邊緣 AI 市場的蓬勃發展。

隨著這項技術日漸普及，對于能夠滿足嵌入式系統數據處理需求的組件，市場需求也在同步攀升。

計算處理的選擇：單片機還是微處理器

目前，在工業和其他嵌入式設備中部署的絕大多數物聯網設備都是內存非常小的低功耗設備。設備的處理能力來自小型嵌入式單片機 (MCU)。這些 MCU 采用低功耗架構，相較于采用微處理器的系統，能讓嵌入式系統在成本效益方面更具優勢。

在邊緣 AI 出現之前，MCU 一直能很好地滿足物聯網設備的處理需求。但傳統的 MCU 通常無法提供更復雜的機器學習算法所需的計算能力，而這些算法是邊緣 AI 應用的標志。此類算法通常在具有更多計算能力的圖形處理單元 (GPU) 和微處理器上運行。然而，使用這些元器件也存在一些固有弊端，其中就包括耗電量較大這一問題。微處理器或 GPU 并不是能效最高的解決方案。因此，微處理器驅動的邊緣計算可能并不是所有邊緣 AI 應用的最佳選擇，而供應商選擇依賴 MCU。

獨立 MCU 比 GPU 和微處理器更便宜。為了擴展邊緣 AI 應用，越來越需要在發揮 MCU 低成本、低功耗優勢的同時，提升其計算性能。

事實上，多年來，一些因素已經融合在一起，推動著邊緣 MCU 的功能持續提升。

有助于在邊緣使用 MCU 的因素

盡管人們普遍認為傳統 MCU 對于 AI 相關的數據處理來說過于輕量級，但 MCU 設計的優化，加上更為廣泛的技術生態系統的變革，正在推動著 MCU 在邊緣 AI 用例中的應用。

這些因素包括：

• 在 MCU 中集成 AI 加速器：當單靠 MCU 無法滿足邊緣計算需求時，將其與神經處理單元 (NPU) 或數字信號處理器 (DSP) 等 AI/ML 加速器集成可以提高性能。
  例如，[STMicroelectronics] 的 [STM32N6 系列 CPU]（圖 1）基于運行頻率為 800 MHz 的 [Arm] Cortex-M55。Arm Helium 矢量處理技術為標準 CPU 帶來了 DSP 處理功能。STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內部開發的 NPU，專為強大的邊緣 AI 應用而設計。

圖 1：STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內部開發的神經處理單元 (NPU)，專為高能效邊緣 AI 應用而設計。（圖片來源：STMicroelectronics）

• 針對邊緣優化的 AI 模型：復雜繁重的 AI 和機器學習算法不能簡單地轉移到 MCU。它們需要針對有限的計算資源進行優化。TinyML 和 MobileNet 等緊湊型 AI 架構與優化技術相結合，實現了這一點，甚至使邊緣的 MCU 能夠執行 AI 算法。STMicroelectronics 推出了 STM32Cube.AI，這是一款軟件解決方案，能夠把神經網絡轉化為針對 STM32 MCU 進行優化的 C 代碼。即便存在處理能力與內存方面的限制，將該解決方案與 STM32N6 搭配使用，也有助于確保達成邊緣 AI 應用所需的性能。
• AI 生態系統的興起：僅僅擁有能夠在邊緣進行 AI 相關處理的硬件組件遠遠不夠。在邊緣執行 AI 算法需要對開發人員友好的生態系統，以幫助簡化 AI 的部署。TensorFlow Lite for Microcontrollers 等特定工具有助于提供此類解決方案。Hugging Face 等開源社區和其他平臺提供了預先訓練的模型和代碼庫，開發人員可以根據特定用例對其進行測試和定制。這樣的 AI 生態系統極大地降低了技術應用的門檻，推動了 AI 技術的普及化進程，即便對于那些資源有限、無法獨立從零開始開發專有 AI 模型的企業而言，也能夠順利接入并利用 AI 技術。
  STMicroelectronics 有專門定制的硬件和軟件生態系統 ST Edge AI Suite，用于優化邊緣 AI 解決方案。該套件整合了 ST 的許多 AI 庫和工具，使開發人員更容易找到可以為單片機生成代碼的模型、數據源、工具和編譯器。
  模型庫中的預訓練模型為開發人員提供了起點。這些模型使用開放神經網絡交換 (ONNX) 格式，這是一種開放標準，用于表示計算機視覺 (CV)、自然語言處理 (NLP)、生成式人工智能 (GenAI) 和圖形機器學習等領域的機器學習模型。
• 標準化和互操作性代碼：AI 生態系統幫助企業測試了邊緣 AI 用例，而開放和標準化的模型格式則助力實現了跨硬件系統的無縫集成。跨軟件工具和 MCU 的兼容性有助于減少邊緣 AI 的實施障礙。
• 關注邊緣安全：雖然 MCU 消除或至少減少了對數據云處理的需求，但硬件組件提供了額外的安全層。它們通常包括硬件加密和安全啟動等功能，能夠有效保護數據和 AI 模型，使其免受惡意攻擊者的破壞。

STM32N6 硬件的特色功能

STM32N6 系列包括帶有 NPU 的高性能 MCU、攝像頭模塊捆綁包和談探索套件。該系列采用典型的 ARM Cortex-M 架構，并具有多項關鍵特性，使這些設備適用于邊緣 AI。其中包括：

• Neural ART 加速器，可以運行神經網絡模型。該加速器針對密集型 AI 算法進行了優化，時鐘頻率為 1 GHz，以平均 3 TOPS/W 的能效提供 600 GOPS。
• 支持“Helium”M 型矢量擴展 (MPVE) 指令，這是一組可實現強大的神經網絡和 DSP 功能的 ARM 指令。例如，這些指令被設計用于處理 16 位和 32 位浮點數，這使它們能夠有效地處理低精度數字。而這些對于處理 ML 模型非常重要。
• ST Edge AI Suite 是一個免費軟件工具、用例和文檔的存儲庫，可幫助各種經驗水平的開發人員為智能邊緣創建 AI。該套件還包括 ST Edge AI Developer Cloud 等工具，其中包含 STM32 模型庫中的專用神經網絡、用于真實世界基準測試的板卡集群 (Board Farm) 等。
• 近 300 個可配置的乘法累加單元和兩條 64 位 AXI 內存總線，吞吐量高達 600 GOPS。
• 內置專用圖像信號處理器 (ISP)，可直接連接多臺 500 萬像素攝像頭。要構建包含攝像頭的系統，開發人員必須針對特定的 CMOS 攝像頭傳感器及其鏡頭微調 ISP。這種微調通常需要專業知識或第三方的幫助。為此，ST 為開發人員提供了一款名為 iQTune 的專用桌面軟件。該軟件運行在 Linux 工作站上，與 STM32 上的嵌入式代碼通信，分析色彩精度、圖像質量和統計數據，并適當配置 ISP 的寄存器。
• 支持 MIPI CSI-2（移動應用中最流行的攝像頭接口），無需與此特定攝像頭串行接口兼容的外部 ISP。
• 單個器件集成了豐富的附加功能，這意味著開發人員現在無需部署多個 MCU，便能實現神經網絡與 GUI 的同步運行。
• 強大的安全性，包括 Target SESIP 3 級和 PSA 3 級認證。

總結

過去，若要在邊緣運行機器學習應用，嵌入式系統必須借助高性能的微處理器，才能承擔起執行復雜算法的繁重任務。得益于 STMicroelectronics 推出的 STM33N6 系列 CPU 這類功能強勁的 MCU，如今企業能夠在邊緣實現 AI 的普及化。STMicroelectronics 為邊緣 AI 部署提供了完整的生態系統，包括用于推理的軟件和硬件組件。

審核編輯 黃宇