描述

背景

視力障礙是全球約 2.5 億人面臨的一個(gè)問(wèn)題。對(duì)于視障人士來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)為日常問(wèn)題提供了一個(gè)優(yōu)雅的解決方案——讓計(jì)算機(jī)為他們看清。到目前為止，計(jì)算機(jī)視覺(jué)僅限于大多數(shù)固定應(yīng)用，需要大型處理器和大型電源。嵌入式 CV 系統(tǒng)存在，但它們擁有陡峭的學(xué)習(xí)曲線和低于標(biāo)準(zhǔn)的功耗。

但是借助 Edge Impulse，黑客現(xiàn)在可以輕松地在嵌入式系統(tǒng)上啟動(dòng)低功耗 ML/CV 模型，從而將 TinyML 推向大眾。

該項(xiàng)目旨在利用 Edge Impulse 的技術(shù)和一些簡(jiǎn)單的組件來(lái)解決盲人每天遇到的一個(gè)問(wèn)題——過(guò)馬路。由于無(wú)法看到人行橫道燈 (PCL)，盲人面臨步行旅行的問(wèn)題，這通常是獨(dú)自旅行時(shí)唯一可用的交通工具。傳統(tǒng)上，盲人利用聲音提示或犬類(lèi)輔助設(shè)備來(lái)了解他們何時(shí)可以安全通過(guò)。但是隨著汽車(chē)變得更安靜（看著你，Elon）和 CV 技術(shù)的進(jìn)步，需要一個(gè)更優(yōu)雅的解決方案。

輸入 CaneCam。

CaneCam 僅使用 Raspberry Pi 4、網(wǎng)絡(luò)攝像頭和一些電路，即可檢測(cè)到行人過(guò)路燈何時(shí)變綠，并通過(guò)小型電機(jī)的手柄振動(dòng)提醒用戶(hù)。由于其優(yōu)化的占空比，CaneCam 一次充電可運(yùn)行 4 小時(shí)以上，足以滿足城市一日游的需要。

最好的部分是 - 您也可以使用這些簡(jiǎn)單的部件和 Edge Impulse 制作 CaneCam！這是如何做到的：

第 1 步：組裝手杖

?

制作任何智能手杖的第一步當(dāng)然是手杖本身。對(duì)于這個(gè)項(xiàng)目，我知道我想將電子設(shè)備完全包含在手杖內(nèi)，因?yàn)闆](méi)有人喜歡背著背包、腰帶或帽子，而這些花哨的電線會(huì)妨礙我。所以 - 我選擇使用 Arduino 套件中的一個(gè)透明小盒子來(lái)獨(dú)立完成所有接線，使 CaneCam 成為你可以拿起就走的東西。（正如它應(yīng)該。）

?

?

首先，使用鉆頭在手杖軸上方 3/4 處鉆兩個(gè)孔，從前到后穿過(guò)直徑。然后將這些孔與塑料盒中的兩個(gè)相同的孔匹配。這些孔用于容納固定在盒子背面的兩個(gè)肘節(jié)螺栓和墊圈。

?

?

完成后，您的盒子應(yīng)固定在手杖上，晃動(dòng)幾乎為零。

注意：孔的大小僅取決于您使用的螺栓和螺母。

第 2 步：構(gòu)建電子設(shè)備

?

?

CaneCam 的核心是無(wú)處不在的 Raspberry Pi 4B，我之所以選擇它是因?yàn)樗哂羞\(yùn)行我們的模型所需的處理能力和 RAM。它連接到用于視頻輸入的 USB 網(wǎng)絡(luò)攝像頭，以及用于控制振動(dòng)電機(jī)的 5V 繼電器。繼電器用于將電源從單獨(dú)的 9V 電池路由到電機(jī)，因?yàn)閺?Pi 的移動(dòng)電源為電機(jī)供電會(huì)導(dǎo)致 Pi 的操作出現(xiàn)問(wèn)題（低電壓）。接線非常簡(jiǎn)單，僅使用 2 個(gè) GPIO 引腳、一些跳線、繼電器、迷你面包板和電機(jī)。如果你選擇一個(gè)足夠大的盒子，你應(yīng)該可以把所有東西都裝進(jìn)去，包括網(wǎng)絡(luò)攝像頭的 USB 數(shù)據(jù)線。

?

?

要連接 Pi、繼電器、電池和電機(jī)，請(qǐng)按照所示示意圖進(jìn)行操作。您可以為內(nèi)部電子設(shè)備選擇小型跨接電纜，因?yàn)樗鼈兎浅＞o密。

注意：連接到電機(jī)的跨接電纜會(huì)比其他的要長(zhǎng)得多，原因請(qǐng)參見(jiàn)下一節(jié)。您可能需要將兩根電線焊接在一起以獲得所需的長(zhǎng)度。

連接電子設(shè)備后，只需將網(wǎng)絡(luò)攝像頭插入 pi 上的任何 USB 端口，然后連接移動(dòng)電源為 Pi 供電。你的接線完成了！

?

?

第 3 步：安裝電子設(shè)備

?

現(xiàn)在我們有了膽量和外殼，是時(shí)候?qū)烧呓Y(jié)合起來(lái)了。首先放置移動(dòng)電源，然后將 Pi、電池、繼電器和面包板放在頂部 - 確保所有引腳都連接并固定。

您可以以任何您選擇的方式分配包裝盒中的組件，只需確保為網(wǎng)絡(luò)攝像頭電纜留出足夠的空間。

?

?

然后，拿起您的網(wǎng)絡(luò)攝像頭并將其連接到盒子的前面/頂部。我使用了一些膠帶，因?yàn)槲业木W(wǎng)絡(luò)攝像頭的形狀很適合它，但根據(jù)您的盒子和網(wǎng)絡(luò)攝像頭，您的需求可能會(huì)有所不同。重要的部分是網(wǎng)絡(luò)攝像頭安裝后移動(dòng)最小。

?

?

從盒子中取出電機(jī)和長(zhǎng)電纜（不要撕開(kāi)它的連接），然后將網(wǎng)絡(luò)攝像頭連接到 Pi，然后將其余的網(wǎng)絡(luò)攝像頭電纜鋪設(shè)（填充）在盒子內(nèi)。您可能會(huì)發(fā)現(xiàn)需要在盒蓋上鉆一個(gè)孔才能將 USB 電纜穿過(guò)。

?

?

最后，將長(zhǎng)跨接電纜沿拐杖的軸向上連接到電機(jī)的頂部，電機(jī)用一些管道膠帶固定在那里。確保將電機(jī)齊平放置，以便將振動(dòng)傳遞到手杖 - 越靠近手柄越好。大量使用膠帶進(jìn)行電纜管理，您就完成了構(gòu)建！

?

?

注意：我建議未來(lái)的設(shè)計(jì)進(jìn)一步采用極簡(jiǎn)主義，并將電機(jī)和電纜隱藏在通常是空心的手杖體內(nèi)。然而，對(duì)于這個(gè)概念驗(yàn)證，我選擇將電機(jī)和電纜留在手杖的外部。

第 4 步：構(gòu)建模型

收集數(shù)據(jù)

這是 Edge Impulse 出現(xiàn)的部分。但在我們打開(kāi)工作室之前，讓我們談?wù)剶?shù)據(jù)。具體來(lái)說(shuō)，您將使用哪些圖片來(lái)構(gòu)建模型？過(guò)去的研究已經(jīng)成功地制作了可以檢測(cè) PCL 的模型，但是，正如您可能認(rèn)識(shí)到的那樣，并非所有的燈都是相同的。世界上到處都是 PCL，但你幾乎找不到一座城市的燈光與 30 英里外的城市一樣——更不用說(shuō)不同的國(guó)家了。

因此，很難為這些看起來(lái)如此不同的燈制作一個(gè)通用模型。因此，我為我的概念驗(yàn)證選擇了一種更具體的方法：我滑板到我家附近的一個(gè) 4 路交叉口，并在那里為 8 個(gè) PCL 拍攝了 100 張照片，它們具有不同的方向、模式和放大倍率。（同時(shí)避免人們奇怪我為什么對(duì)人行橫道燈如此感興趣）

當(dāng)然，這意味著我的模型只能在使用這種特定類(lèi)型 PCL 的人行橫道上工作，并且在我收集數(shù)據(jù)的確切交叉口處效果最好。但是對(duì)于概念證明，這就是我所需要的。

邊緣脈沖

Edge Impulse是一個(gè)相對(duì)較新的平臺(tái)，允許黑客輕松地在嵌入式設(shè)備上部署 ML 模型，無(wú)論技能水平如何。這就是為什么它非常適合這個(gè)專(zhuān)為新手設(shè)計(jì)的項(xiàng)目。

我們將使用 Edge Impulse 的工作室創(chuàng)建一個(gè)可以檢測(cè) PCL 的圖像分類(lèi)模型。通常，只有 100 張圖片的數(shù)據(jù)集不足以訓(xùn)練整個(gè)模型進(jìn)行分類(lèi)。但是多虧了 Edge Impulse，我們可以利用遷移學(xué)習(xí)來(lái)用少量數(shù)據(jù)獲得一個(gè)相當(dāng)好的模型。

首先，創(chuàng)建你的項(xiàng)目

出現(xiàn)提示后，選擇圖像->對(duì)單個(gè)對(duì)象進(jìn)行分類(lèi)，因?yàn)槊繌垐D片我們只使用一個(gè)對(duì)象（人行橫道燈）。

創(chuàng)建后，您的項(xiàng)目?jī)x表板將在頂部為您提供一個(gè)清單，這就是我們將要關(guān)注的內(nèi)容。首先，我們將收集我們的數(shù)據(jù) - 實(shí)現(xiàn)此目的的兩種主要方式是連接手機(jī)和從您的計(jì)算機(jī)上傳圖片 - 您可以選擇其中任何一種。

注意：我使用的 3 個(gè)類(lèi)是“Go”、“Stop”和“Unknown”。未來(lái)的項(xiàng)目可以在這些基礎(chǔ)上進(jìn)行擴(kuò)展，并包括諸如“倒計(jì)時(shí)”之類(lèi)的類(lèi)以獲得更多功能

在這個(gè)例子中，我將上傳我之前拍攝的照片，這些照片保存在我的電腦上。只需選擇所有顯示“Go”的燈光圖片，并為其分配正確的標(biāo)簽，如圖所示。

對(duì)“停止”和“未知”類(lèi)再次執(zhí)行此操作。一旦您上傳了所有圖片（嘗試至少獲得 50 張），我們的其余工作將完全包含在 Edge Impulse Studio 中！

創(chuàng)造沖動(dòng)

我們的下一個(gè)任務(wù)是制作真正的神經(jīng)網(wǎng)絡(luò)。在 Edge Impulse 中，模型被稱(chēng)為脈沖，制作它們是輕而易舉的事。單擊脈沖設(shè)計(jì)菜單。這是我們告訴 Edge Impulse 我們正在嘗試制作什么樣的模型以及使用什么設(shè)置的地方。

我們將在脈沖設(shè)計(jì)中使用推薦的圖像分類(lèi)設(shè)置——即 96x96 圖像和擬合最短軸。我們還想點(diǎn)擊添加處理塊和添加學(xué)習(xí)塊來(lái)添加推薦的圖像塊和遷移學(xué)習(xí)塊。

最后，點(diǎn)擊保存沖動(dòng)。導(dǎo)航新的圖像菜單項(xiàng)，選擇 RGB 顏色深度并保存。這告訴我們的模型我們想要使用彩色圖像，當(dāng)“Go”和“Stop”之間的很大一部分差異是光的顏色時(shí)，我們當(dāng)然需要它。（白對(duì)紅）

保存會(huì)將您帶到“生成功能”頁(yè)面，您應(yīng)該在該頁(yè)面單擊，您猜對(duì)了，生成功能。

這為我們提供了圖像的特征圖，我們可以使用它來(lái)觀察數(shù)據(jù)中的模式。

我們還獲得了我們?cè)O(shè)備上速度和內(nèi)存使用情況的性能估計(jì)。

接下來(lái)，單擊遷移學(xué)習(xí)。這是我們實(shí)際創(chuàng)建/訓(xùn)練網(wǎng)絡(luò)以響應(yīng)我們的數(shù)據(jù)的地方（在這種情況下，是人行橫道燈圖片）。將訓(xùn)練周期數(shù)更改為 100，然后選中數(shù)據(jù)增強(qiáng)框。

接下來(lái)，單擊選擇不同的模型并選擇MobileNetV2 96x96 0.35模型。

幾乎完成（與模型）！單擊模型框上的編輯按鈕，將神經(jīng)元的數(shù)量更改為 20。所有這些更改將使模型更適合您的數(shù)據(jù)，并使 CaneCam 能夠更有效地檢測(cè)您的交叉燈。

最后，單擊開(kāi)始訓(xùn)練按鈕。訓(xùn)練可能需要一分鐘，因?yàn)槲覀冊(cè)黾恿?epoch 的數(shù)量，所以花點(diǎn)時(shí)間喝點(diǎn)水。

評(píng)估沖動(dòng)

訓(xùn)練后，我的模型返回了 63.6% 的一般準(zhǔn)確率。單擊“模型測(cè)試”菜單項(xiàng)會(huì)顯示測(cè)試數(shù)據(jù)集，您可以在其中對(duì)分離的數(shù)據(jù)運(yùn)行模型。單擊“全部分類(lèi)”以測(cè)試數(shù)據(jù)。

該評(píng)估顯示了 10 個(gè) Stop and Go 樣本的（盡管是無(wú)私的）準(zhǔn)確度為 100%。對(duì)于 <100 幅圖像來(lái)說(shuō)不算太破舊。

第 4 步：編碼

連接到邊緣脈沖

?

我們中間的工程師們玩得很開(kāi)心，現(xiàn)在是編碼人員開(kāi)始他們的現(xiàn)場(chǎng)日的時(shí)候了。畢竟，沒(méi)有背后代碼的電子產(chǎn)品是什么？

?

雖然您可以通過(guò) SSH 連接到您的 Pi 進(jìn)行許多項(xiàng)目，但在這個(gè)項(xiàng)目中，我們希望看到視頻反饋 - 所以我們將連接 USB 鍵盤(pán)和鼠標(biāo)進(jìn)行控制，以及通過(guò) Pi 的 Mini-HDMI 端口連接的監(jiān)視器. 這個(gè)設(shè)置將是我們編碼部分的基礎(chǔ)，但別擔(dān)心，它不是最終的。

注意：以下部分遵循Edge Impulse 的 Raspberry Pi 4 指南，如果您想在沒(méi)有屏幕或 PiCam 的情況下進(jìn)行設(shè)置，您可以在此處找到說(shuō)明。

啟動(dòng)你的 Pi（我的使用 Raspbian Buster for CaneCam）并打開(kāi)終端。要使用 Edge Impulse 設(shè)置設(shè)備，請(qǐng)運(yùn)行以下命令：

curl -sL https://deb.nodesource.com/setup_12.x | sudo bash -

sudo apt install -y gcc g++ make build-essential nodejs sox gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-base gstreamer1.0-plugins-base-apps

npm config set user root && sudo npm install edge-impulse-linux -g --unsafe-perm

處理好軟件后，將 USB 網(wǎng)絡(luò)攝像頭連接到 Pi 并運(yùn)行

edge-impulse-linux

這將啟動(dòng)一個(gè)向?qū)В竽卿洸⑦x擇一個(gè) Edge Impulse 項(xiàng)目。如果要切換項(xiàng)目，請(qǐng)使用--clean.

而已！導(dǎo)航回 Edge Impulse 以驗(yàn)證您的 Pi 是否已連接。您的屏幕應(yīng)如下所示：

?

要在沒(méi)有腳本的情況下運(yùn)行您的沖動(dòng)，只需調(diào)用

edge-impulse-linux-runner

這將自動(dòng)下載并運(yùn)行您的模型，打開(kāi)終端作為分類(lèi)的文本輸出。很酷！

?

下載 Python SDK

但是我們希望模型背后有一些力量，并且不僅僅是一個(gè)窗口和終端作為我們的輸出。為此，我們需要安裝 Edge Impulse 的Linux Python SDK ，我們將使用它來(lái)構(gòu)建一個(gè) Python 腳本，該腳本使用我們構(gòu)建的脈沖/模型來(lái)控制 CaneCam。

為此，請(qǐng)安裝最新版本的Python 3 ，或通過(guò)發(fā)出命令檢查您是否已經(jīng)擁有 >=3.7 的 Python3 版本

python3 --version

我已經(jīng)安裝了 Python 3.7.3，所以我可以繼續(xù)下一步。問(wèn)題：

sudo apt-get install libatlas-base-dev libportaudio0 libportaudio2 libportaudiocpp0 portaudio19-dev

pip3 install edge_impulse_linux -i https://pypi.python.org/simple

然后，通過(guò)以下方式下載模型文件：

edge-impulse-linux-runner --download modelfile.eim

模型最終在您的 Pi 上，在與您剛剛下載的 modelfile.eim 相同的目錄中創(chuàng)建一個(gè) Python 文件。通過(guò)導(dǎo)航到 Pi 的簡(jiǎn)單 Python 腳本編輯器 Thonny 來(lái)執(zhí)行此操作。創(chuàng)建一個(gè)新文件并從 CaneCam.py 復(fù)制代碼（在本指南的附件部分），或者在您的 Pi 上找到本指南并在那里下載。將文件命名為 CaneCam.py 該文件是 Edge Impulse 網(wǎng)絡(luò)攝像頭檢測(cè)腳本的修改版本，增加了標(biāo)簽檢測(cè)、占空比和電機(jī)控制。

簡(jiǎn)而言之，腳本每 5 秒拍攝一張照片，并等待直到它檢測(cè)到行人燈（打開(kāi)或關(guān)閉），然后喚醒其視頻源并以每秒約 5 幀的速度運(yùn)行（每 2 秒拍攝一次）。進(jìn)入視頻模式后，腳本會(huì)不斷尋找“Go”行人燈。它找到一個(gè)，腳本打開(kāi)馬達(dá)，直到下一幀腳本再次決定要做什么。重復(fù)此過(guò)程，直到看不到 PCL，之后系統(tǒng)又回到“睡眠”狀態(tài)，也就是。每 5 秒拍攝一張照片。該系統(tǒng)允許 Pi 在不主動(dòng)處理視頻饋送時(shí)節(jié)省電量，并將電池組的正常運(yùn)行時(shí)間從 2 小時(shí)延長(zhǎng)到 4 小時(shí)以上！

注意：請(qǐng)參閱代碼中的注釋以更深入地了解每一行的功能。

cd將兩個(gè)文件（CaneCam.py、modelfile.eim）保存在同一目錄中后，使用終端中的命令移至該目錄。最后，問(wèn)題：

python3 CaneCam.py modelfile.eim

您的終端將開(kāi)始輸出置信度值和建議的操作。您可以通過(guò)更改min_conf_thresholdCaneCam.py 來(lái)調(diào)整建議的閾值。將彈出一個(gè) 96x96 視頻源，讓您查看模型所看到的內(nèi)容，您可以將其指向自己并制作您最好的人行橫道燈臉，這很有趣。

?

?

上傳代碼后，將電源切換到電池組，啟動(dòng)代碼，然后將 Pi 與所有其他電子設(shè)備一起放入手杖盒中。蓋上蓋子 - 瞧！您自己的 CaneCam。將它帶入世界，享受無(wú)需看到十字路口燈即可過(guò)馬路的安心。

視頻

需要改進(jìn)的方面

如視頻所示，CaneCam 在我收集數(shù)據(jù)的十字路口運(yùn)行良好，只需幾秒鐘即可識(shí)別“Go”燈。然而，這主要是由于我的模型過(guò)度擬合這些 PCL 示例。從本質(zhì)上講，它與廣義相反。如果其他人要復(fù)制這個(gè)項(xiàng)目，我建議在該地區(qū)收集更大的 PCL 數(shù)據(jù)集，看看該模型是否可以推廣到不同的環(huán)境。

未來(lái)的應(yīng)用

CV 和 TinyML 行業(yè)正在蓬勃發(fā)展，像 Edge Impulse 這樣的公司因?yàn)樘幱谄渲卸龅煤芎谩?/font>CaneCam 的偉大之處在于它不是非常專(zhuān)門(mén)用于一項(xiàng)任務(wù) - 相機(jī)可用于檢測(cè)幾乎任何帶有 CV 的東西。這意味著通過(guò)更多的工作，好奇的黑客可以添加文本閱讀、位置跟蹤和避障等功能——所有這些問(wèn)題都可以極大地改善盲人的生活。如果一家企業(yè)要采用 CaneCam，那么實(shí)施是明確的——為現(xiàn)有的拐杖制作附件或開(kāi)發(fā)一個(gè)完整的智能拐杖系統(tǒng)——功能從過(guò)馬路開(kāi)始，并隨著時(shí)間的推移放棄增加功能的軟件更新。

結(jié)論

我創(chuàng)建這個(gè)項(xiàng)目是為了證明一個(gè)我認(rèn)為是未來(lái)技術(shù)的概念——輔助機(jī)器學(xué)習(xí)。具體來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)為視力受損、行動(dòng)不便或其他殘疾的人帶來(lái)了許多可能性。通過(guò)發(fā)現(xiàn)盲人日常遇到的問(wèn)題，我能夠使用一些簡(jiǎn)單的工具來(lái)證明一個(gè)具有巨大影響的小想法。

在接下來(lái)的幾十年里，我想象著一個(gè)世界，像失明這樣的殘疾不再是阻礙人們生活的疾病。用于閱讀的 CV 眼鏡等輔助技術(shù)、CaneCam 等交通技術(shù)等將能夠改變?nèi)?2.5 億視力障礙者的生活和出行方式。人是世界的產(chǎn)業(yè)，如果我們現(xiàn)在不投資他們，誰(shuí)知道我們會(huì)留下什么。

感謝您的閱讀和愉快的黑客攻擊！