描述

介紹

盡管當今可穿戴設備種類繁多，但大多數人工智能功能歸結為僅定義非常簡單的動作。他們確定一個人是在跑步還是在睡覺，他們計算步數，并確定一個人是否跌倒。

在我看來，我們已經準備好從我們的設備進行更復雜的分析。如果他們能夠識別更具體、相似和復雜的活動會怎樣？它將開啟前所未有的可能性，創(chuàng)造出許多有趣的新應用程序和設備。

然而，識別更復雜的活動需要龐大而復雜的神經網絡，這需要大量的計算。這顯然會很快耗盡嵌入該神經網絡的物聯網設備的電池。大多數可穿戴設備應在常亮模式下運行，這對此類解決方案的能源效率提出了嚴格要求。

我們如何解決這個挑戰(zhàn)？在我的項目中，我想展示一個示例，說明如何顯著增加智能功能的復雜性，并確定可穿戴設備可以使用非常小且準確的神經網絡識別什么。

在我的項目中，您將找到有關如何使用 Nicla Sense ME 實施多項日常活動識別的詳細指南。

如果你有 Nicla Sense ME，你可以在你的實驗/項目/課程中嘗試我的預訓練模型。

我們的測試結果表明，該模型完美地識別了 30 名未使用其數據訓練模型的參與者的動作。

按照本教程，您還可以輕松地進行自己的實驗并根據您的數據訓練神經網絡以識別相同或不同的動作。

我們相信，使用小型神經網絡識別極其復雜和相似的動作的能力為永遠在線的設備開辟了一個新時代。

下面，您將找到有關如何重現此實驗的完整教程，包括數據收集、模型訓練、模型嵌入和推理。此外，我們還創(chuàng)建了一個帶有預訓練模型的公共存儲庫，該模型已證明對新用戶具有良好的泛化能力。它是一個預編譯的模型存檔，您只需點擊幾下鼠標即可下載并嵌入到您的 Nicla Sense ME 中，然后開始測試。

https://github.com/NeutonTinyML/hand-activity-recognition

使用 Nicla Sense ME 收集數據

對于這個案例，我選擇了 5 種類型的活動（對于您的實驗，您可以選擇其他活動）：

• 洗手
• 刷牙
• 鼓掌
• 梳理頭發(fā)
• 隨機活動（負類）

對于每種活動類型，我使用 Nicla Sense ME 連續(xù) 10 分鐘不間斷地收集傳感器數據。數據是從 7 個不同地點的 7 個不同的人那里收集的。這是一個非常具有挑戰(zhàn)性但又很有趣的過程，因為為了正確收集數據，中斷是不可取的。對于那些計劃重新進行我的實驗的人，這里有一些建議：在為另一項活動收集數據之前，先休息一下！但是，如果 10 分鐘的持續(xù)刷毛太多了，您可以進行兩個 5 分鐘的數據收集流，然后將兩個文件連接起來。

對于負類，我們收集了 60 分鐘的數據。這次不需要做任何特別的事情；繼續(xù)你的日常活動。在鍵盤上打字，操作鼠標，接聽電話，喝茶，或做任何你想做的事。只需確保在收集負面類別數據期間，您的手不會完全閑著不動。負面類別是除上述 4 類之外的所有其他類別的子集。

腳步：

現在讓我為您提供有關如何調整 Arduino 板 Nicla Sense ME 以收集數據的詳細指南。

1.訪問https://www.arduino.cc/en/software，為您的操作系統下載 Arduino IDE 2.xx，并安裝軟件包。

2.打開 Arduino IDE，單擊Boards Manager圖標，鍵入“nicla sense me”并安裝Arduino Mbed OS Nicla Boards包。

單擊庫管理器圖標，在搜索框中鍵入“nicla sense me”并安裝兩個庫：Arduino_BHY2和ArduinoBLE 。

在搜索框中鍵入“printf”并安裝LibPrintf 。

3.在主菜單中選擇File->Examples->Arduino_BHY2>BHYFirmwareUpdate 。

4.將Nicla Sense ME板連接到 USB 并在下拉菜單中選擇端口。

5.點擊上傳按鈕...

…等到上傳過程完成。

6.單擊串行監(jiān)視器圖標并選擇115200 波特，然后單擊 Nicla 開發(fā)板上的重置按鈕。

7. 5-10 秒后，您會看到 BHY 固件已上傳。

8.使用 Nicla Sense ME 從 Neuton存儲庫下載用于傳感器數據收集的 Arduino 預編譯庫。

模型 -> Arduino_Neuton.zip（不要解壓存檔）

9.將“Arduino_Neuton.zip”模型安裝到 Arduino IDE 中：

Sketch -> Include Library -> Add .ZIP Library…（指向下載的“Arduino_Neuton.zip”存檔）

10.退出并重新啟動 Arduino IDE（Arduino IDE 最多需要一分鐘時間來索引所有示例，包括新安裝的“Arduino_Neuton”）

11、打開安裝好的例子：File -> Examples -> Arduino_Neuton -> Inertial_Sensor_Data_Collection （會彈出一個新的Arduino IDE窗口，關閉之前的Arduino IDE窗口）

12.將 Nicla Sense ME 連接到計算機的 USB 端口。

13.在 IDE 中選擇您的 MCU 并上傳固件。

14.固件上傳后（1-2 分鐘），打開串行監(jiān)視器 - 您應該看到傳感器讀數（如果您看到連接錯誤 - 重新啟動 Arduino IDE 并再次打開串行監(jiān)視器）

現在您可以從 USB 端口拔下電路板。

15.將電路板牢固地連接到手表或手鏈上。Micro-USB 端口應位于右下角。

16.將帶有電路板的手表或手環(huán)戴在右手上，并連接數據線。確保連接器附近的電纜沒有拉緊，以免損壞電路板。

17.根據您的操作系統，打開串行端口并嘗試記錄數據。在提示中可以看到串口。

如果您使用的是 macOS，請在終端中使用此命令：

stty -f /dev/cu.usbmodem85EB3A0F2 115200 | 貓/dev/cu.usbmodem85EB3A0F2 | T 恤 4_brushing_hair.csv

這會將端口速度設置為 115200 波特。從串行端口打印出文本數據并將其保存為 CSV 文件。

按 Control-C 停止錄制。將有一個 CSV 文件，其中包含來自傳感器（加速度計、線性加速度計和陀螺儀）的數據和時間戳。

18.開始記錄運動。按下 Nicla 板上的重置按鈕并重新開始記錄到文件。

例如，拍手 10 分鐘（使用智能手機中的秒表應用程序）。在此過程中，改變雙手的位置，使數據更加多樣化。錄制過程中不要停止移動。

按下重置按鈕后約 7 秒內將開始錄制。

10 分鐘結束后，繼續(xù)運動 10-20 秒并停止記錄。

19.對每個活動類型重復第 18 步（使用不同的文件名）：

在記錄每個動作之前重置板。

模型訓練

在您收集了所有活動的數據并將它們組合成一個數據集后，前往Neuton.ai平臺訓練您的模型。

1.創(chuàng)建一個新的解決方案

2.選擇數據類型，上傳數據

3.在左側字段中刪除變量 lacc_X、lacc_Y、lacc_Z（此模型不需要線性加速度計）；在右邊的字段中選擇目標變量并單擊下一步。

4.選擇任務類型。

5.選擇輸入數據類型為 INT16。

6.啟用數字信號預處理，選擇 Window size 200 和 Sliding shift 5。

7.對于每個特征（acc_X、acc_Y、acc_Z、gyro_X、gyro_Y、gyro_Z）重復以下步驟：

A。點擊“編輯”

b. 選擇“全部刪除”

C。選擇“統計”功能并檢查以下功能：均值、均方根、平均絕對偏差、標準偏差、均值交叉率、過零率

8.選擇單片機位深：8位，開始訓練。

模型訓練完成后，進入“預測”選項卡，檢查模型質量指標并下載包含模型的存檔以進行嵌入。

下載的模型源代碼如下所示：

該檔案包含將模型嵌入任何 MCU 所需的一切。使用存檔內容編譯一個 Arduino 草圖，用這個草圖刷新你的 Nicla Sense ME 并開始推理。

?