描述

作為我之前關(guān)于使用 Sipeed MaiX 板進(jìn)行圖像識(shí)別的文章的延續(xù)，我決定寫另一個(gè)教程，重點(diǎn)是對(duì)象檢測(cè)。但請(qǐng)記住，我不是 Kendryte 或 Sipeed 開發(fā)團(tuán)隊(duì)的成員，無法回答與他們的產(chǎn)品相關(guān)的所有問題。本質(zhì)上， aXeleRate是基于我用于訓(xùn)練圖像識(shí)別/對(duì)象檢測(cè)模型的腳本集合 - 組合成一個(gè)框架并針對(duì) Google Colab 上的工作流程進(jìn)行了優(yōu)化。使用起來更方便，更新更及時(shí)。

2022 年 3 月 29 日更新。我盡我所能定期更新我的文章，并根據(jù)您在 YouTube/Hackster 評(píng)論部分的反饋。如果您想表達(dá)對(duì)這些努力的支持和贊賞，請(qǐng)考慮給我買杯咖啡（或披薩）:)。

對(duì)于舊版本的文章，你仍然可以在steemit.com 上看到。

第 1 步：對(duì)象檢測(cè)模型架構(gòu)說明

圖像識(shí)別（或圖像分類）模型將整個(gè)圖像作為輸入，并輸出我們?cè)噲D識(shí)別的每個(gè)類別的概率列表。如果我們感興趣的對(duì)象占據(jù)了圖像的大部分并且我們不太關(guān)心它的位置，這將非常有用。但是，如果我們的項(xiàng)目（比如人臉跟蹤相機(jī)）不僅需要了解圖像中對(duì)象的類型，還需要了解其坐標(biāo)，該怎么辦。那么需要檢測(cè)多個(gè)對(duì)象（例如計(jì)數(shù)）的項(xiàng)目呢？

這是對(duì)象檢測(cè)模型派上用場(chǎng)的時(shí)候。在本文中，我們將使用 YOLO（你只看一次）架構(gòu)，并重點(diǎn)解釋這個(gè)特定架構(gòu)的內(nèi)部機(jī)制。

我們?cè)噲D確定圖片中存在哪些對(duì)象以及它們的坐標(biāo)。由于機(jī)器學(xué)習(xí)不是魔術(shù)，也不是“思維機(jī)器”，而只是一種使用統(tǒng)計(jì)數(shù)據(jù)優(yōu)化功能（神經(jīng)網(wǎng)絡(luò)）以更好地解決特定問題的算法。我們需要對(duì)這個(gè)問題進(jìn)行解釋，使其更“可優(yōu)化”。這里的一個(gè)天真的方法是讓算法最小化它的預(yù)測(cè)和對(duì)象的正確坐標(biāo)之間的損失（差異）。只要我們?cè)趫D像中只有一個(gè)對(duì)象，這就會(huì)很好地工作。對(duì)于多個(gè)對(duì)象，我們采用不同的方法——我們添加網(wǎng)格并讓我們的網(wǎng)絡(luò)預(yù)測(cè)每個(gè)網(wǎng)格中對(duì)象的存在（或不存在）。好聽，但是仍然給網(wǎng)絡(luò)留下了太多的不確定性——如何輸出預(yù)測(cè)以及在一個(gè)網(wǎng)格單元內(nèi)有多個(gè)中心的對(duì)象時(shí)該怎么辦？我們需要再添加一個(gè)約束——所謂的錨。錨點(diǎn)是初始大小（寬度、高度），其中一些（最接近對(duì)象大小）將調(diào)整為對(duì)象大小 - 使用神經(jīng)網(wǎng)絡(luò)的一些輸出（最終特征圖）。

所以，這是一個(gè)關(guān)于 YOLO 架構(gòu)神經(jīng)網(wǎng)絡(luò)對(duì)圖像執(zhí)行對(duì)象檢測(cè)時(shí)發(fā)生了什么的頂級(jí)視圖。根據(jù)特征提取器網(wǎng)絡(luò)檢測(cè)到的特征，對(duì)每個(gè)網(wǎng)格單元進(jìn)行一組預(yù)測(cè)，包括錨點(diǎn)偏移量、錨點(diǎn)概率和錨點(diǎn)類別。然后我們丟棄低概率的預(yù)測(cè)，瞧！

第 2 步：準(zhǔn)備環(huán)境

aXeleRate 基于 penny4860 的精彩項(xiàng)目，SVHN yolo-v2 數(shù)字檢測(cè)器。 aXeleRate 將這種在 Keras 中的 YOLO 檢測(cè)器實(shí)現(xiàn)提升到一個(gè)新的水平，并使用其方便的配置系統(tǒng)來執(zhí)行圖像識(shí)別/對(duì)象檢測(cè)和具有各種后端的圖像分割網(wǎng)絡(luò)的訓(xùn)練和轉(zhuǎn)換。

使用 aXeleRate 有兩種方法：在 Ubuntu 機(jī)器上本地運(yùn)行或在 Google Colab 中運(yùn)行。要在 Google Colab 中運(yùn)行，請(qǐng)查看以下示例：

PASCAL-VOC 目標(biāo)檢測(cè) Colab Notebook

現(xiàn)在在本地訓(xùn)練您的模型并將其導(dǎo)出以用于硬件加速也變得更加容易。我強(qiáng)烈建議您在 Anaconda 環(huán)境中安裝所有必要的依賴項(xiàng)，以使您的項(xiàng)目與其他項(xiàng)目分開并避免沖突。

在此處下載安裝程序。

安裝完成后，新建環(huán)境：

conda create -n yolo python=3.7

讓我們激活新環(huán)境

conda activate yolo

bash shell 前的前綴將與環(huán)境名稱一起出現(xiàn)，表明您現(xiàn)在在該環(huán)境中工作。

在本地機(jī)器上安裝 aXeleRate

pip install git+https://github.com/AIWintermuteAI/aXeleRate

然后運(yùn)行它來下載訓(xùn)練和推理所需的腳本：

git clone https://github.com/AIWintermuteAI/aXeleRate.git

您可以使用 aXeleRate 文件夾中的 tests_training.py 運(yùn)行快速測(cè)試。它將為每種模型類型運(yùn)行訓(xùn)練和推理，保存和轉(zhuǎn)換訓(xùn)練好的模型。由于它只訓(xùn)練 5 個(gè) epoch 并且數(shù)據(jù)集非常小，您將無法獲得有用的模型，但此腳本僅用于檢查是否存在錯(cuò)誤。

第 3 步：使用 Keras 訓(xùn)練對(duì)象檢測(cè)模型

現(xiàn)在我們可以使用配置文件運(yùn)行訓(xùn)練腳本。由于 YOLO 目標(biāo)檢測(cè)器的 Keras 實(shí)現(xiàn)相當(dāng)復(fù)雜，因此我將解釋如何配置訓(xùn)練并描述相關(guān)模塊，而不是解釋每個(gè)相關(guān)的代碼，以防您想自己對(duì)它們進(jìn)行一些更改。

讓我們從一個(gè)玩具示例開始，訓(xùn)練一個(gè)浣熊探測(cè)器。/config 文件夾內(nèi)有一個(gè)配置文件 raccoon_detector.json。我們選擇 MobileNet7_5 作為架構(gòu)（其中 7_5 是原始 Mobilenet 實(shí)現(xiàn)的 alpha 參數(shù)，控制網(wǎng)絡(luò)的寬度）和 224x224 作為輸入大小。讓我們看一下配置中最重要的參數(shù)：

類型是模型前端 - 分類器、檢測(cè)器或 Segnet
架構(gòu)是模型后端（特征提取器）

- 全 Yolo - Tiny Yolo - MobileNet1_0 - MobileNet7_5 - MobileNet5_0 - MobileNet2_5 - SqueezeNet - VGG16 - ResNet50

有關(guān)錨點(diǎn)的更多信息，請(qǐng)?jiān)诖颂庨喿x https://github.com/pjreddie/darknet/issues/568

標(biāo)簽是數(shù)據(jù)集中存在的標(biāo)簽。重要提示：請(qǐng)列出數(shù)據(jù)集中存在的所有標(biāo)簽。

object_scale確定對(duì)對(duì)象預(yù)測(cè)器置信度的錯(cuò)誤預(yù)測(cè)懲罰多少

no_object_scale確定對(duì)非對(duì)象預(yù)測(cè)器的置信度的錯(cuò)誤預(yù)測(cè)懲罰多少

coord_scale確定對(duì)錯(cuò)誤位置和大小預(yù)測(cè)（x、y、w、h）的懲罰程度

class_scale決定對(duì)錯(cuò)誤的類預(yù)測(cè)懲罰多少

增強(qiáng)- 圖像增強(qiáng)、調(diào)整大小、移動(dòng)和模糊圖像，以防止過度擬合并在數(shù)據(jù)集中有更大的多樣性。

train_times, validation_times - 重復(fù)數(shù)據(jù)集的次數(shù)。如果您有增強(qiáng)功能，則很有用

啟用

first_trainable_layer - 如果您使用的是預(yù)訓(xùn)練的特征網(wǎng)絡(luò)，則允許您凍結(jié)某些層

現(xiàn)在我們需要下載我在Google Drive上共享的數(shù)據(jù)集（原始數(shù)據(jù)集），這是一個(gè)浣熊檢測(cè)數(shù)據(jù)集，包含 150 張帶注釋的圖片。

確保相應(yīng)地更改配置文件（train_image_folder、train_annot_folder）中的行，然后使用以下命令（來自 aXeleRate 文件夾）開始訓(xùn)練：

python axelerate/train.py -c configs/raccoon_detector.json

train.py 從 .json 文件中讀取配置并使用 axelerate/networks/yolo/yolo_frontend.py 腳本訓(xùn)練模型。yolo/backend/loss.py 是實(shí)現(xiàn)自定義損失函數(shù)的地方，yolo/backend/network.py 是創(chuàng)建模型的地方（輸入、特征提取器和檢測(cè)層放在一起）。axelerate/networks/common_utils/fit.py 是實(shí)現(xiàn)訓(xùn)練過程的腳本，而 axelerate/networks/common_utils/feature.py 包含特征提取器。如果您打算使用帶有 K210 芯片和 Micropython 固件的訓(xùn)練模型，由于內(nèi)存限制，您可以在 MobileNet（2_5、5_0 和 7_5）和 TinyYolo 之間進(jìn)行選擇，但我發(fā)現(xiàn) MobileNet 提供了更好的檢測(cè)精度。

由于它是一個(gè)玩具示例并且僅包含 150 張浣熊的圖像，因此即使沒有 GPU，訓(xùn)練過程也應(yīng)該非常快，盡管準(zhǔn)確度遠(yuǎn)非一流。對(duì)于與工作相關(guān)的項(xiàng)目，我訓(xùn)練了一個(gè)交通標(biāo)志檢測(cè)器和一個(gè)數(shù)字檢測(cè)器，這兩個(gè)數(shù)據(jù)集都包含了數(shù)千個(gè)訓(xùn)練示例。

第 4 步：將其轉(zhuǎn)換為 .kmodel 格式

使用aXeleRate，模型轉(zhuǎn)換是自動(dòng)進(jìn)行的——這可能是與舊版訓(xùn)練腳本最大的不同！另外，您可以將模型文件和訓(xùn)練圖整齊地保存在項(xiàng)目文件夾中。此外，我確實(shí)發(fā)現(xiàn)驗(yàn)證準(zhǔn)確度有時(shí)無法估計(jì)對(duì)象檢測(cè)的模型實(shí)際性能，這就是為什么我添加 mAP 作為對(duì)象檢測(cè)模型的驗(yàn)證指標(biāo)的原因。您可以在此處閱讀有關(guān) mAP 的更多信息。

如果 mAP、平均精度（我們的驗(yàn)證指標(biāo)）在 20 個(gè) epoch 內(nèi)沒有提高，則訓(xùn)練將提前停止。每次 mAP 改進(jìn)時(shí)，模型都會(huì)保存在項(xiàng)目文件夾中。訓(xùn)練結(jié)束后，aXeleRate 自動(dòng)將最佳模型轉(zhuǎn)換為指定格式 - 您現(xiàn)在可以選擇“tflite”、“k210”或“edgetpu”。

現(xiàn)在到最后一步，在 Sipeed 硬件上實(shí)際運(yùn)行我們的模型！

第 5 步：在 Micropython 固件上運(yùn)行

可以使用 C 代碼使用我們的對(duì)象檢測(cè)模型運(yùn)行推理，但為了方便起見，我們將使用 Micropython 固件和 MaixPy IDE 代替。

從這里下載MaixPy IDE和從這里下載 micropython 固件。您可以使用 python 腳本 kflash.py 燒錄固件或在此處下載單獨(dú)的 GUI flash 工具。

將 model.kmodel 復(fù)制到 SD 卡的根目錄，并將 SD 卡插入 Sipeed Maix Bit（或其他 K210 設(shè)備）。或者，您可以將 .kmodel 刻錄到設(shè)備的閃存中。我的示例腳本從閃存讀取 .kmodel。如果您使用的是 SD 卡，請(qǐng)更改此行

task = kpu.load(0x200000)

至

task = kpu.load("/sd/model.kmodel")

打開 MaixPy IDE 并按下連接按鈕。從 example_scripts/k210/detector 文件夾打開 raccoon_detector.py 腳本，然后按開始按鈕。您應(yīng)該會(huì)看到來自攝像機(jī)的實(shí)時(shí)流，周圍有邊界框……好吧，浣熊。您可以通過提供更多訓(xùn)練示例來提高模型的準(zhǔn)確性，但請(qǐng)記住，它是精靈小模型（1.9 M），并且在檢測(cè)小物體時(shí)會(huì)遇到麻煩（由于分辨率低）。

我在上一篇關(guān)于圖像識(shí)別的文章的評(píng)論中收到的一個(gè)問題是如何通過 UART/I2C 將檢測(cè)結(jié)果發(fā)送到連接到 Sipeed 開發(fā)板的其他設(shè)備。在我的 github 存儲(chǔ)庫中，您將能夠找到另一個(gè)示例腳本 raccoon_detector_uart.py，它（您猜對(duì)了）檢測(cè)浣熊并通過 UART 發(fā)送邊界框的坐標(biāo)。請(qǐng)記住，用于 UART 通信的引腳因不同的板而異，您需要在文檔中自行檢查。

第 6 步：總結(jié)

Kendryte K210 是用于計(jì)算機(jī)視覺的堅(jiān)固芯片，靈活，但可用內(nèi)存有限。到目前為止，在我的教程中，我們已經(jīng)介紹了使用它來識(shí)別自定義對(duì)象、檢測(cè)自定義對(duì)象和運(yùn)行一些基于 OpenMV 的計(jì)算機(jī)視覺任務(wù)。我知道它也適用于人臉識(shí)別，并且經(jīng)過一些修改，應(yīng)該可以進(jìn)行姿勢(shì)檢測(cè)和圖像分割（例如用于單目深度估計(jì)）。隨意 fork 我的 GitHub 存儲(chǔ)庫并自己做一些很棒的事情！

以下是我在編寫本教程時(shí)使用的一些文章，如果您想了解有關(guān)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)象檢測(cè)的更多信息，請(qǐng)查看：

邊界框物體檢測(cè)器：了解 YOLO，你只看一次

了解 YOLO（更多數(shù)學(xué)）

關(guān)于 YOLO 對(duì)象本地化如何與 Keras 配合使用的溫和指南（第 2 部分）

使用 YOLO、YOLOv2 和現(xiàn)在的 YOLOv3 進(jìn)行實(shí)時(shí)對(duì)象檢測(cè)

希望您可以利用您現(xiàn)在擁有的知識(shí)來構(gòu)建一些帶有機(jī)器視覺的很棒的項(xiàng)目！你可以在這里購買 Sipeed 板，它們是嵌入式系統(tǒng)上機(jī)器學(xué)習(xí)最便宜的選擇之一。

如果您有任何問題，請(qǐng)?jiān)贚inkedIn上添加我，并訂閱我的 YouTube 頻道，以獲得有關(guān)機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)的更多有趣項(xiàng)目的通知。