增加諸如人臉識(shí)別這樣基于人工智能的界面來(lái)進(jìn)行機(jī)器的訪問(wèn)授權(quán)——這乍一看似乎是一個(gè)巨大的飛躍，但它并不像您想象得那么困難。有大量的網(wǎng)絡(luò)平臺(tái)可用，有很多訓(xùn)練選項(xiàng)，甚至還有開(kāi)源應(yīng)用程序，比如前面提到的人臉識(shí)別的例子。您可以用能在您的個(gè)人電腦上運(yùn)行的原型程序來(lái)快速地進(jìn)行測(cè)試。

限制因素

在您的嵌入式應(yīng)用程序中放入一個(gè)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)似乎是另一個(gè)巨大的困難。個(gè)人電腦（或云）訓(xùn)練的網(wǎng)絡(luò)不會(huì)在存儲(chǔ)容量或功耗方面優(yōu)化太多。它們可能使用浮點(diǎn)或雙字來(lái)進(jìn)行網(wǎng)絡(luò)計(jì)算，并且在處理圖像上的滑動(dòng)窗口時(shí)，它們將大幅依賴(lài)于片外存儲(chǔ)器訪問(wèn)。這對(duì)高性能個(gè)人電腦上運(yùn)行的原型來(lái)說(shuō)不成問(wèn)題，但您需要在終端應(yīng)用程序中省著點(diǎn)用，以確保不影響性能。

優(yōu)化要領(lǐng)

優(yōu)化中的一個(gè)關(guān)鍵步驟叫做量化。將權(quán)重從浮點(diǎn)切換到定點(diǎn)，并減小定點(diǎn)的大小，例如從32位浮點(diǎn)減到8位整數(shù)，不僅影響權(quán)重的大小，而且影響中間計(jì)算值的大小。僅此一項(xiàng)就可以顯著減少內(nèi)存占用，并且在大多數(shù)情況下對(duì)識(shí)別質(zhì)量的影響很小。

第二項(xiàng)操作是利用權(quán)重中的稀疏性，同時(shí)盡可能地減小對(duì)精確度的影響。這種做法將利用那些接近于零的權(quán)重，并將它們舍入到零，同時(shí)密切跟蹤這對(duì)精確度的影響。權(quán)重用于乘以部分和，如果其中有因數(shù)為零，就將變成無(wú)用功，因此也就沒(méi)有必要執(zhí)行該操作了。

在實(shí)際的實(shí)現(xiàn)過(guò)程中，圖像被增量處理，因此當(dāng)計(jì)算窗口在圖像上移動(dòng)時(shí)，必須更新權(quán)重。這會(huì)帶來(lái)大量的更新以及大量的數(shù)據(jù)流量。通過(guò)將大部分權(quán)重值強(qiáng)制設(shè)為零，就可以壓縮權(quán)重?cái)?shù)組，從而使數(shù)組的全部或大部分存儲(chǔ)在片內(nèi)SRAM中，以便按需解壓縮。因此，最大限度地減少了對(duì)主存的需求，從而提高了性能并降低了功耗。在加載權(quán)重時(shí)，它還附帶地減少了片內(nèi)通信量。更少的流量占用則意味著更高的吞吐量。

此外還要考慮一個(gè)因素。像大多數(shù)復(fù)雜的應(yīng)用一樣，神經(jīng)網(wǎng)絡(luò)依賴(lài)于精密的數(shù)據(jù)庫(kù)。您需要使用專(zhuān)為微控制器環(huán)境設(shè)計(jì)的數(shù)據(jù)庫(kù)，和您所選擇的平臺(tái)的編譯器。選擇TensorFlow Lite等開(kāi)源庫(kù)便是一個(gè)不錯(cuò)的著手點(diǎn)，但是為了充分利用微控制器，還需要專(zhuān)門(mén)的定制解決方案。

當(dāng)然，想要弄清自己必須要干什么并不容易。而您現(xiàn)在要做的，就是找到平臺(tái)來(lái)簡(jiǎn)化這些操作并提供經(jīng)過(guò)硬件優(yōu)化的數(shù)據(jù)庫(kù)。

我如何使這個(gè)流程變得簡(jiǎn)單易用？

您需要的是一個(gè)可以在特定平臺(tái)（例如TensorFlow）上承載訓(xùn)練過(guò)的網(wǎng)絡(luò)，并且將該網(wǎng)絡(luò)直接編譯到您的嵌入式解決方案中的流程。除了加入一些基本要求之外，無(wú)需額外干預(yù)。當(dāng)然，您也希望能夠進(jìn)一步手動(dòng)優(yōu)化該選項(xiàng)，可以是在不同的平面上設(shè)置不同的量化級(jí)別，也可以是在權(quán)重閾值與片內(nèi)存儲(chǔ)器容量方面多加嘗試。此外，您還希望根據(jù)硬件優(yōu)化數(shù)據(jù)庫(kù)，以及根據(jù)數(shù)據(jù)庫(kù)優(yōu)化硬件。

原文標(biāo)題：掌握嵌入式人工智能：根據(jù)您的設(shè)備進(jìn)行優(yōu)化

文章出處：【微信公眾號(hào)：CEVA】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq