描述

介紹：

受到 Plantvillage.psu.edu 和 iita.org 工作的啟發(fā)，我們希望使用 DonkeyCar 平臺(tái)構(gòu)建一個(gè)自主機(jī)器人，該機(jī)器人可以在農(nóng)場(chǎng)環(huán)境中移動(dòng)而不會(huì)損壞現(xiàn)有植物或土壤，并使用物體檢測(cè)來(lái)查找和標(biāo)記病害作物具有環(huán)保色彩。傳統(tǒng)上，在大多數(shù)高科技案例中，人類必須使用手機(jī)手動(dòng)檢查大型農(nóng)場(chǎng)以標(biāo)記農(nóng)作物。這需要大量的時(shí)間和精力。此外，使用的各種手機(jī)不一定具備高效完成任務(wù)所需的所有功能，或者他們必須等待擁有合適設(shè)備的人。圍繞農(nóng)場(chǎng)運(yùn)行的統(tǒng)一機(jī)器人平臺(tái)將解決這些問(wèn)題并使標(biāo)記速度更快。速度還可以更輕松地在多個(gè)農(nóng)場(chǎng)之間共享平臺(tái)。

挑戰(zhàn)：

• 保持機(jī)器人的尺寸/重量足夠小，以免損壞作物本身。
• 在不損壞現(xiàn)有作物的情況下導(dǎo)航。
• 尋找一種安全標(biāo)記患病作物的方法。
• 尋找一個(gè)數(shù)據(jù)集和農(nóng)場(chǎng)來(lái)測(cè)試平臺(tái)

?

?

背景：

我們的 Teamato 團(tuán)隊(duì)之所以走到一起，是因?yàn)槲覀兌际堑滋芈?a href='http://www.tjjbhg.com/tags/自動(dòng)駕駛/' target='_blank' class='arckwlink_none'>自動(dòng)駕駛汽車集團(tuán)和安娜堡自動(dòng)駕駛汽車集團(tuán)的成員。這些都是聚會(huì)小組。我們的團(tuán)隊(duì)成員 Sohaib 以上述概念參加了挑戰(zhàn)，并創(chuàng)建了一個(gè)帖子詢問(wèn)是否有人有興趣參與。Alex、Juanito 和 David 加入了 Sohaib，因此開(kāi)始了在以前從未合作過(guò)的個(gè)人之間的共同探索。除了在方法、技術(shù)、時(shí)間安排等方面找到共同點(diǎn)之外，我們還必須制定一個(gè)包含會(huì)議時(shí)間表、存儲(chǔ)庫(kù)、會(huì)議技術(shù)等的框架。從本質(zhì)上講，專業(yè)項(xiàng)目的所有組成部分都必須到位，除了沒(méi)有人得到報(bào)酬，我們沒(méi)有預(yù)算，而且所有人都有工作、學(xué)校、家庭等方面的承諾。不是問(wèn)題，因?yàn)槲覀冇泄餐脑妇昂蛨?zhí)行意愿。有趣的是，我們的四人小組代表了一個(gè)國(guó)際社會(huì)。我們團(tuán)隊(duì)的每個(gè)成員都精通多種語(yǔ)言，并且與以下一個(gè)或多個(gè)國(guó)家有直接的家庭關(guān)系：中國(guó)、德國(guó)、巴基斯坦、菲律賓、俄羅斯。我們都度過(guò)了愉快的時(shí)光，這是一次了不起的學(xué)習(xí)經(jīng)歷。

構(gòu)建機(jī)器人：

底盤、自主導(dǎo)航和圖像分類的工作立即開(kāi)始，進(jìn)展順利。我們遇到了與底盤和驅(qū)動(dòng)系統(tǒng)相關(guān)的重大意外挑戰(zhàn)和延誤。簡(jiǎn)而言之，我們沒(méi)有預(yù)料到測(cè)試溫室中的地形變化如此之大，在場(chǎng)景 A 中表現(xiàn)良好的電機(jī)、車輪、接線、控制等在場(chǎng)景 B 中不堪重負(fù)。我們通過(guò)大量的 mod 來(lái)?yè)苋胍粋€(gè)適用于我們所有環(huán)境的工作機(jī)箱。我們不得不做出大量時(shí)間和預(yù)算限制，但最終產(chǎn)品超出了我們最初的最小可行配置目標(biāo)。提交時(shí)的最終設(shè)計(jì)如下所述。

相機(jī)桿：

為了能夠觀察凸起的植物床，并可能升級(jí)到可以觀察番茄頂部和底部的移動(dòng)攝像頭，我們使用從車庫(kù)出售的碳纖維桿建造了一個(gè)攝像桿。該桿裝有 2 個(gè) 3D 打印夾具，用于導(dǎo)航和分類攝像頭。我們還在桿子上添加了 1.2v 太陽(yáng)能照明，以及在泳池頂部添加了 12v 多色狀態(tài)燈。是的，那是一個(gè)在桿子頂部涂成黑色的重新利用的藥丸容器。我們眾多零基預(yù)算住宿之一，效果非常好！

?

?

這些相機(jī)是連接到兩個(gè)由 USB 充電器供電的不同 Pi 上的 Raspberry Pi 相機(jī)。使用 2 Pi 的原因是分類和導(dǎo)航都使用需要大量處理能力的神經(jīng)網(wǎng)絡(luò)。此外，分類攝像頭必須指向植物，而導(dǎo)航攝像頭必須指向前方。桿子的頂部也必須有燈作為指示器。在尋找足夠亮的 RGB 燈時(shí)，我們發(fā)現(xiàn)它們要花費(fèi) 100 美元以上，所以我們使用揚(yáng)聲器的燈、一個(gè)用于反射的小塑料袋并裝在一個(gè)空藥瓶中制作了自己的燈。因?yàn)闊粜枰?12 伏我們的 Arduino 輸出為 5 伏，我們將其連接到繼電器。連接需要與 Arduino 和 3 根電線共同接地，我們?cè)?Arduino 的引腳 7、8 和 11 上放置的綠色和藍(lán)色燈。我們可以通過(guò)使用analogWrite 函數(shù)為所有三根線提供不同的值來(lái)模擬這些燈的RGB 光譜。請(qǐng)注意，為了正確著色，所有三個(gè)都需要寫入，否則之前在任何一個(gè)引腳上寫入的顏色可能會(huì)顯示出意想不到的結(jié)果。

?

?

機(jī)殼：

我們?cè)?Stone Coop 和Growing Hope 農(nóng)場(chǎng)對(duì)帶有輪子和履帶的塑料底盤進(jìn)行的實(shí)驗(yàn)證明是不成功的，這兩種選擇都將挖入有利于植物的沙地。我們剝離了其中一個(gè)臨時(shí)底盤版本很多塑料齒輪在升級(jí)到金屬之前和處理更高電流的能力：

?

?

由于其強(qiáng)大的電機(jī)和大輪子，我們最終選擇了 Mountain Ark SR13 底盤，并按照以下說(shuō)明進(jìn)行組裝。

我們對(duì) Mountain Ark 進(jìn)行了修改，添加了一個(gè)平臺(tái)以將計(jì)算技術(shù)與電源分開(kāi)，并通過(guò)定制涂漆的輕質(zhì)外殼和獨(dú)特的徽標(biāo)為 Farmaid 增添了一絲風(fēng)格。

?

?

組裝好底盤后，我們需要電機(jī)和電池為其供電。雖然底盤帶有電池盒，但我們決定使用 12V 鋰聚合物電池，因?yàn)槲覀円呀?jīng)有了可用的電池，并且已將其與舊底盤一起使用。電機(jī)使用接線端子連接到電池，以獲得更高的電流消耗。

?

?

我們最初使用的是我們擁有的普通 L298 電機(jī)控制器，但發(fā)現(xiàn)電流太低，無(wú)法為我們現(xiàn)在擁有的 320 RPM 電機(jī)供電。因此，我們改用 IBT-2 電機(jī)控制器，這是另一個(gè)創(chuàng)客空間成員捐贈(zèng)的。IBT-2 電機(jī)控制器的問(wèn)題在于它們只能控制 1 個(gè)電機(jī)，所以我們必須連接其中的 4 個(gè)。我們拼接了左右 PWM 線，接頭將左側(cè)電機(jī)和右側(cè)電機(jī)的 L-PWM 和 R-PWM 相互連接。

?

?

我們使用的另一種節(jié)省空間的技術(shù)是將所有電機(jī)的使能引腳直接連接到 Arduino 的 5 伏電壓。

?

?

在此之后，我們需要直接連接到 Arduino 的唯一電機(jī)部分是 PWM 引腳。在左側(cè)，我們將左側(cè)電機(jī)的 R_PWM 連接到 Arduino 上的 6 引腳，將 L_PWM 連接到 5 引腳。請(qǐng)注意，左側(cè)兩個(gè)控制器的 R_PWM 引腳和左側(cè)兩個(gè)控制器上的 L_PWM 是拼接的，因此向一個(gè)的正向命令將同時(shí)向前移動(dòng)，向一個(gè)反向命令將在左側(cè)的兩個(gè)輪子反轉(zhuǎn)。右側(cè)也進(jìn)行了同樣的拼接。右側(cè)的 R_PWM 連接到 Arduino 的 9 針，L_PWM 連接到 Arduino 的 10 針。對(duì)于碰撞檢測(cè)，我們首先嘗試了我們小組成員中的一個(gè) Garmin 激光雷達(dá)，但我們很難讓它工作，所以我們決定使用 SR04 超聲波傳感器。

?

?

我們還在后面添加了另一個(gè)傳感器，但由于使用定時(shí)器中斷的方式，我們無(wú)法在手動(dòng)控制機(jī)器人的同時(shí)使用它。請(qǐng)注意，我們制作了另一個(gè) Arduino 例程，僅使用傳感器在障礙物之間移動(dòng)機(jī)器人，但這不符合行為克隆方法。

?

?

駕駛：

由于我們無(wú)法使用類似于驢車的底盤，因?yàn)樗鼰o(wú)法在我們給定的環(huán)境中行駛，因此我們必須編寫自己的駕駛代碼。為此，我們使用了兩個(gè)靈感，Donkey Car 自己的方法以及 YouTuber Sentdex 的一系列視頻。駕駛模型基于 Donkey Car，除了沒(méi)有回歸和均方誤差，我們使用分類來(lái)使用圖像在 7 個(gè)按鈕之間進(jìn)行分類. 我們還將它轉(zhuǎn)換成一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，使其更快，并與新的研究相一致。在測(cè)試中，我們發(fā)現(xiàn)它不斷輸出一個(gè)按鈕，這與訓(xùn)練中我們?cè)趲讉€(gè)間隔后按下一個(gè)鍵不同。為了解決這個(gè)問(wèn)題，我們后來(lái)在 Arduino 腳本中添加了一些代碼來(lái)輸出按鈕按下之間經(jīng)過(guò)的時(shí)間。

病株分類：

對(duì)于分類，我們使用 MobileNet SSD 模型，因?yàn)樗某叽缦鄬?duì)較小，而且它已經(jīng)有一種上傳到安卓應(yīng)用程序的方法。我們通過(guò)使用 5-10 秒的視頻獲取數(shù)據(jù)并創(chuàng)建了一個(gè)腳本來(lái)從這些視頻中提取圖像視頻。視頻本身被放置在以疾病和植物命名的文件夾中。我們確保在不同的條件和不同的地點(diǎn)拍攝這些視頻。整個(gè)訓(xùn)練數(shù)據(jù)集由大約 2000 張圖像組成。我們還制作了一個(gè)網(wǎng)站來(lái)展示分類的輸出以及溫室及其植物健康的整體地圖。該網(wǎng)站使用 XML 數(shù)據(jù)創(chuàng)建此網(wǎng)格。我們沒(méi)有時(shí)間從分類器向網(wǎng)站添加實(shí)時(shí)更新，但這是我們未來(lái)的目標(biāo)之一。我們還測(cè)試了 Twillo 的 SMS 系統(tǒng)，以在植物病害高于給定閾值時(shí)向手機(jī)發(fā)送消息。同樣由于時(shí)間限制，我們還沒(méi)有將它連接到分類器。

有趣的旁注：

?

?

從我們的一個(gè)測(cè)試日開(kāi)始，溫室工作可以得到相當(dāng)溫暖、真實(shí)的畫面。

?

?

在項(xiàng)目期間，我們還強(qiáng)調(diào)了在被要求時(shí)帶 Farmaid 參加公共活動(dòng)。

?

?

在一次活動(dòng)中，我們的 Farmaid 機(jī)器人甚至遇到了一些機(jī)器人朋友，包括 Mowbot 和一些高功率機(jī)器人。未來(lái)構(gòu)建和協(xié)作的協(xié)同作用！