繼卓大大發布了推文“基于RT106x電磁智能車AI算法”，并將此列為2020年智能車競賽的比賽項目之一以后，AI算法智能車受到了廣大同學和專家的熱烈討論。很多同學都想在自己的賽道上感受一下AI的魅力，但苦于沒有文檔和工具而無從下手。

在這里向大家介紹我們在RT106x的小車上部署實施AI的方法，以及一個base line的電磁導引神經網絡模型，希望能拋磚引玉，激發同學們開動腦筋，將AI在電磁智能車上的應用發揚光大。

先期準備

硬件條件

話不多說，首先必須有電磁智能車一輛，無線透傳模塊用于采集訓練數據（感謝逐飛科技友情贊助）。

下圖是我們使用的車模，其中紅色框內車身的7個電感，是AI算法中電磁車運行導向的輸入電感。

AI電磁實驗的車模及其傳感器配置

藍色框內的電感是抓取訓練數據時的導航電感，在AI算法中并不使用（在模型部署成功后可以拆除）。

軟件環境

Python：3.7.3

Keras：2.2.4

TensorFlow：1.13.1

模型設計

模型的目的是通過車身的電感值來推導出對小車舵機的轉向控制命令，這是典型的回歸問題。

我們訓練了簡易的Baseline模型，結構如下：

使用Netron軟件顯示的網絡結構圖

如圖所示，模型只使用了Dense算子——也就是全連接層，在一些文獻里稱之為多層感知機。模型使用最新一筆7個電感的讀數，參數19,301個，內存需求很小，運算速度快，用RT1060哪怕是按16位量化也完全無壓力。

不過，各位同學不要以為設計完了模型就萬事大吉了，以為有了AI模型就可以忘掉經典算法中調參的痛苦。小編可以負責任地告訴你，痛苦才剛剛開始……

采集數據，訓練模型

數據采集和處理

眾所周知訓練數據是機器學習的重中之重，沒有完備的數據AI模型只不過是鏡中花水中月，沒有任何意義。訓練數據對于模型而言就是韓信點兵多多益善，但也一定要小心不要引入錯誤數據，錯誤數據會讓你出軌~啊不，是讓小車出軌，然后就無跡可尋了。小編為了訓練數據不知道掉了多少頭發，死了多少腦細胞。

我們獲取訓練數據的方法是：小車運行經典導航算法，由小車的前置電感導航，實時抓取車身的電感數據，轉向數據，再通過無線透傳模塊發送到PC端，PC上的串口工具把數據保存成文本格式。

怎么把文本格式的數據轉換成訓練數據呢？這就要借助強大的Python了，在腳本里讀入文本文件，把7組AD值作為x_train、x_test，對應的轉向值pwm作為y_train、y_test，并保存成numpy數組文件以方便訓練腳本調用，建議生成四個文件x_train.npy、x_test.npy、y_train.npy、y_test.npy，注意數據格式要符合模型結構，數據范圍要壓縮至-128~127之間用于制作測試文件。

在數據轉換時需要對AD值做一個簡單濾波。以下是我們使用的濾波算法僅供參考。

簡單的濾波算法

模型訓練

在訓練腳本讀取訓練數據numpy文件，并把數據范圍標準化至-1~+1的浮點數。并調整數據表形狀(reshape)為模型輸入參數的結構。

輸入參數結構
（建議把源代碼的若干個相關行分自然段，每個自然段添加一行中文注釋。比如reshape的，astype的）

模型函數：

模型函數

模型訓練部分代碼（添加少量關鍵中文注釋）：

訓練部分代碼
這里保存了臨時文件xxx_ctx.h5，為了訓練中途意外停止后，重新訓練時可以支持斷點續練。

優化器使用RMSprop，損失函數使用mean_squared_error。

訓練損失函數

訓練時誤差迅速下降，下降速度越來越慢，20輪訓練后精度即已接近最終效果。這里顯示了訓練了120次后的結果：loss=0.0044.

訓練過程誤差

各位看官讀到這里是不是腦海里已經有了智能車策馬奔騰的畫面了，并且迫不及待的想把訓練好的模型部署到小車上了？
No No No，經常被生活打臉的小編告訴你這是完全不夠的。為什么呢？很簡單模型過擬合了。AI模型運行時會有誤差，遲早導致出軌，那么有哪些誤差呢：

模型計算的誤差，邏輯回歸引入的誤差，無論訓練多少遍一定會存在一定的誤差

訓練數據采集時的誤差，前置電感和車身電感距離上的誤差

累積誤差，前兩種誤差會導致小車偏離軌道以至誤差越來越大。積累到在訓練數據里沒有出現過的程度時，模型就不知該怎么辦了，這是出軌的根源（說起來簡單，小編其實被虐了很久才悟出來）。

知道了癥結所在，就可以對癥下藥了：盡可能讓訓練數據里出現小車的各種回歸正軌的模式。簡單的說就是要引入從偏離軌道狀態重返回軌道過程的糾正數據，我們通過兩種辦法獲得糾正數據。

第1種方法：把小車電機配置成手動控制模式，但要保留轉向控制功能和數據采集功能。把小車移動到偏離位置，手動推動小車，小車原有的控制算法會矯正方向使小車回到軌道上去。同時要抓取實時數據并保存。如下視頻所示

手動控制模式采集數據

第2種方法：在用經典算法引導小車時，加入隨機干擾，故意讓小車偏離軌道一會，同時讓控制算法短暫休眠，小車在此期間會出軌，待算法喚醒后趕緊再糾正回來，并且實時保存糾正的數據。如下視頻所示

經典算法引導采集數據

總結一下，數據分三部分：

經典算法導航的正常數據。

手動偏移的糾正數據。

經典算法隨機干擾的糾正數據。

把三個數據合成一套訓練數據。特別注意第2種方法中可能會引入錯誤數據（小車過度偏離賽道，手動移動小車時小車與賽道平面角度過大或與水平面距離太遠），實際操作過程中要小心。由于機器學習的不可解釋特性，錯誤數據或不合適數據會導致不可預知的行為，所以整個過程可能需要多次嘗試和調整。

模型部署

經過多輪的訓練，我們得到最終的模型文件smartcar.h5。

那么怎么部署到小車上呢，這要借助“NNCU”這一套神器了。NNCU模型轉換器可以點擊這里從網盤下載，這里有個大禮包，里面有nnCU工具、教學視頻、用戶手冊，還有一個MCU+AI的ppt。
通過轉換器把模型轉換成C文件。這樣就可以很方便的集成到原有的工程中了，注意還需要集成一些依賴庫和算法庫，可以參考性能測試工程（nncie_stub.uvproj）。
從網盤中下載解壓nncu_test_nighty.7z，運行“nncu_vbgui.bat”，選擇模型文件，配置信息如下：

模型配置信息
這里我們使用14位來量化模型，對于NNCU工具，9-16位都會使用16位整數來封裝。

16位量化和8位量化相比，以犧牲少量模型推理時間和加倍模型數據的代價，換來幾乎無損的精度。
這里還有個重要的小建議：雖然使用16位整數來表達，但實際最好只使用其中的9-15位（未用的位會自動做有符號擴展），是為了防止模型運算期間的乘累加溢出。

注意輸入數據移位指數7位，這意思是說數據里有7個二進制位用于表達分數（或者說是小數）部分。回想前文提到測試集和訓練集中數據范圍是-128+127，而模型訓練時，模型處理數據范圍是-1+1，所以量化數據里其實是放大到128倍了，也就是7個二進制分數位。

我們再看“輸出后處理類型“。由于模型是做預測，后處理需要用戶自己處理，不需要執行引擎后處理。
中間層、輸出層分數位數：由于模型輸出是-1~+1之間，10位分辨率也比較夠用，這里占用量化總位數14位中的10位來表達分數。大家也可以試試其它的，比如9-13，一般影響極小。
點擊”干活!”，會跳出后臺轉換腳本的命令窗口，稍候片刻會在nncu_pc目錄下生成model1.nncu.c—模型執行文件。那么怎么使用以及模型量化后性能怎么樣呢？

NNCU工具里提供了測試工程“test_mcu”，各位同學可以通過這個工程測試量化后的模型性能，也可以參考這個工程來進行模型移植工作。具體的操作，可以點擊看這個視頻（末尾部分），也可以看這篇微信文章"在MCU上實現AI深度學習，你想知道的都在這兒"以了解更多。

測試性能，首先需要制作測試數據集。我們把ad_test_dat.npy作為輸入，把模型計算結果和pwm_test_label.npy值的平方差作為誤差，計算平均差值來評估量化后的模型性能。

把訓練集和測試集復制到”datasetssmartcar_ad”目錄，命名如下：

存儲訓練集和測試集合的目錄

點擊工具右下角“制作測試數據”按鈕。選擇迷你數據集中smartcar_ad，點擊”干活"。在目錄nncu_pc下生成測試文件smartcar_ad.nctv.c。

生成測試文件
下一步是測試模型性能（參照幫助視頻“nncu_使用入門.mp4”）。拷貝model1.nncu.c, smartcar_ad.nctv.c到目錄test_mcuoardsevkmimxrt1060demo_apps ncie_stub中，覆蓋原有文件：model.nncu.c，tv.nctv.c。

打開工程mdk ncie_stub.uvprojx，在helo_world.c中的測試函數CIETest，模型計算測試集求得平均差值。平均差值越小表示模型在測試集的擬合性越高。但注意這是沒有累積誤差情況下，實際上需要多加入回歸正軌的數據，否則即使差值小也不能保證實際效果，只是模型過擬合，在測試集上表現的很好。

應用模型激素測試集合進行測試

CI_RunModelXIP_NoCopyOutput(pvModel, pImg + 8, (void**)&g_out);

是模型執行的函數調用，用法如下：

pvModel – 模型數據，在model1.nncu.c定義，包含了模型的信息和參數

pImg + 8 – x_text 也就是7個AD數值

g_out – 模型輸出buffer，根據配置輸出為16bit，帶有分數位的數據。需要移位得到-128~+127的數值范圍才能發送給舵機。

編譯工程，通過JLink連接板子，并打開串口程序，接收串口的調試信息。開始debug模式，工程默認使用sram運行程序，等待測試程序執行。執行結束后，串口會輸出執行結果：即平均差值，和平均執行時間。

小編訓練的模型6000次平均差值是16，每次計算時間1.87dms——0.187ms。

串口輸出測試結果

實戰演習

經過模擬測試，模型性能符合預期，下一步就是把相關代碼集成到電磁車系統中。首先集成nncie庫nncie_imxrt10x0.lib，model.nncu.c，以及nncu_mcucmsis_nnSource中的CMSIS_NN相關代碼（參照測試工程）。其次集成模型的調用方法：

模型調用方法
model1數組就是模型數據，ad_array是7個電感數據（如果12bit，需要移位到8bit），pwm是模型計算的轉向值(范圍-128+127)。請注意，制作訓練數據時，為了方便訓練計算，我們把轉向值范圍由真實值-420420壓縮到了-128127，所以在控制舵機時，需要把計算所得的轉向值放大到-420+420。

現在小伙伴可以在賽道上驗證模型的實際性能了，可能第一次不會成功，需要多些耐心處理訓練數據反復的重新訓練，迭代調試了。

結果展示

這是小編訓練的模型的實際運行情況（摘除了前置采集裝置）

AI電磁車模實際運行情況

未來展望

以上是AI機器學習部署到電磁智能車的全過程，可以驗證機器學習在電磁智能車上實施的可行性。
在這個過程中遇到很多問題，主要是處理分析訓練數據，經過多次迭代訓練才得到一個基本可靠的模型。
當然還存在一些有待改進地方：

小車目前還是勻速運動，沒有速度變化，怎樣設計更好的模型來引入速度參數？

數據獲得方式是不是有更好的辦法，通過對電磁軌道的模擬，來通過公式工具推導訓練數據？

怎樣可以引入更加豐富的賽道內容，比如交通引導線，指示燈，障礙物？等等。
編輯：hfy