借助現(xiàn)代人工智能算法，多旋翼無(wú)人機(jī)可以成為智能代理，在未知環(huán)境中導(dǎo)航。給定目的地，無(wú)人機(jī)可以控制環(huán)境，重建環(huán)境地圖并動(dòng)態(tài)規(guī)劃到目的地的軌跡。這項(xiàng)工作的目的是構(gòu)建一個(gè)端到端的網(wǎng)絡(luò)用于研究和教育目的的模擬環(huán)境。這里，端到端指的是在一個(gè)模擬器中驗(yàn)證所有感知、反應(yīng)和控制算法的能力(圖1a)。

(a)模擬器的系統(tǒng)概述

(b) 無(wú)人機(jī)在模擬器中，右側(cè)圖像是來(lái)自車載攝像頭的實(shí)時(shí)彩色和深度圖像

(c) 在未知環(huán)境中單擊并飛行導(dǎo)航(藍(lán)色路徑為已行駛路徑，紅色路徑為從當(dāng)前位置到目的地的全局計(jì)劃路徑)

基于流行的ROS-Gazebo-PX4工具鏈，我們進(jìn)行了幾項(xiàng)改進(jìn)，以滿足無(wú)人機(jī)v-SLAM和導(dǎo)航模擬的要求(圖1b)。這些改進(jìn)包括：(a)構(gòu)建仿真空間，(b)定制無(wú)人機(jī)模型，(c)添加立體攝像機(jī)模型，以及(d)配置基于視覺(jué)的控制設(shè)置。在本文的最后，我們演示了一個(gè)端到端的無(wú)人機(jī)導(dǎo)航模擬(圖1c)。

概述

在機(jī)器人世界中，機(jī)器人操作系統(tǒng)(ROS)無(wú)疑是最方便的平臺(tái)，它提供了強(qiáng)大的開(kāi)發(fā)工具和軟件包，從驅(qū)動(dòng)程序到最先進(jìn)的算法。此外，許多導(dǎo)航套件都有ROS版本包，集成起來(lái)非常方便。此外，開(kāi)源機(jī)器人模擬器Gazebo是ROS中使用最廣泛的模擬器。我們選擇了廣泛使用的開(kāi)源無(wú)人機(jī)自動(dòng)駕駛儀堆棧PX4。它支持軟件在環(huán)(SITL)仿真。我們的仿真平臺(tái)基于ROS-GAGEBO-PX4工具鏈。

圖2 仿真框架

如圖2所示，上部是SITL模擬器，底部是地圖和導(dǎo)航系統(tǒng)。所有組件通過(guò)不同的ROS主題進(jìn)行協(xié)調(diào)。尤其是導(dǎo)航系統(tǒng)和PX4之間的通信是通過(guò)MAVROS實(shí)現(xiàn)的。

機(jī)載傳感器

在3DR-IRIS模型的基礎(chǔ)上進(jìn)行了改進(jìn)，我們添加了一個(gè)深度攝像頭，并定制了IMU傳感器，以支持視覺(jué)慣性姿態(tài)估計(jì)器。這里我們介紹相機(jī)和IMU模型。機(jī)身和IMU的坐標(biāo)定義如圖3所示。

圖3 修改后的3DR-IRIS模型以及視覺(jué)傳感器和IMU的安裝幾何結(jié)構(gòu)(參考框架中的X-Y-Z軸用紅色、綠色和藍(lán)色表示)

模擬空間設(shè)置

首先，我們?cè)谝粋€(gè)20×20米的空空間中添加了障礙物，比如墻壁和盒子。然后，為了滿足v-SLAM模擬的要求，我們?yōu)樗羞@些項(xiàng)目和地平面提供了墻紙，墻紙包含豐富的視覺(jué)特征，如圖4所示。

圖4 有障礙物的20×20米模擬空間(墻紙包含豐富的視覺(jué)功能以支持視覺(jué)跟蹤)

定位

我們整合了FLVIS，一種由我們團(tuán)隊(duì)開(kāi)發(fā)的立體視覺(jué)慣性姿態(tài)估計(jì)器，作為定位套件(圖5)。與其他單目v-SLAM方法相比，立體視覺(jué)慣性姿態(tài)估計(jì)器具有魯棒性、準(zhǔn)確性和尺度一致性等優(yōu)點(diǎn)。

圖5 FLVIS在模擬中，圖像中的標(biāo)記指的是地標(biāo)，不同的顏色指的是地標(biāo)和相機(jī)之間的距離

地圖重建

如圖6所示，模擬器中集成了一個(gè)全局本地映射工具包“glmapping”。該地圖工具包是一個(gè)3D占用像素地圖，專為MAV或移動(dòng)機(jī)器人導(dǎo)航應(yīng)用而設(shè)計(jì)。

圖6 Rviz中全球/本地/ESFDs地圖的可視化。在全球地圖中，顏色(藍(lán)紫色)表示障礙物的高度;ESFDs地圖的顏色(紅黃綠)表示有符號(hào)的距離值;高亮顯示的白色球體指的是本地地圖

路徑規(guī)劃

我們集成了fuxi Planner作為我們的路徑規(guī)劃工具包。全局規(guī)劃器處理二維全局柵格地圖，以找到最短的二維路徑，并為本地規(guī)劃器輸出本地目標(biāo)。本地規(guī)劃器直接在點(diǎn)云上工作避免與障礙物的潛在碰撞，并為局部目標(biāo)規(guī)劃一條運(yùn)動(dòng)學(xué)上可行的軌跡。

我們控制無(wú)人機(jī)探索20米×20米的未知環(huán)境。這次探索任務(wù)耗時(shí)7分24秒，無(wú)人機(jī)在模擬世界中飛行了82米。然后評(píng)估定位和繪圖工具包的性能。從圖7中可以看出，地面真值路徑和定位工具包中的估計(jì)路徑之間非常一致。我們使用Michael Grupp提供的工具來(lái)評(píng)估定位工具包的準(zhǔn)確性。以均方根誤差(RMSE)形式表示的平移漂移的絕對(duì)軌跡誤差(ATE)為0.3m。

圖7 比較地面真實(shí)情況和定位工具包中的估計(jì)姿勢(shì)

我們捕獲模擬世界的圖像，并從不同的視圖重建地圖。圖8和圖9顯示了它們與地圖細(xì)節(jié)之間的良好一致性。地圖的像素大小為0.2×0.2×0.2米。

圖8 模擬世界的自頂向下視圖(左)和映射工具包生成的投影二維占用柵格地圖(右)

圖9 模擬世界的斜視圖(左)和映射工具包重建的地圖(右)

我們進(jìn)一步將路徑規(guī)劃工具包集成到模擬中，只在地圖上給無(wú)人機(jī)一個(gè)想要的目的地。然后，無(wú)人機(jī)將規(guī)劃路徑，避開(kāi)障礙物，并自動(dòng)飛往目的地。如圖10所示，任務(wù)期間設(shè)置了六個(gè)航路點(diǎn)。無(wú)人機(jī)監(jiān)控環(huán)境，規(guī)劃一條路徑，以完全自動(dòng)地按順序訪問(wèn)這些航路點(diǎn)。飛行路線與最近的障礙物保持安全距離，以避免碰撞。

圖10 點(diǎn)擊并飛行導(dǎo)航(藍(lán)色路徑是行進(jìn)路徑，圖像中的白色標(biāo)記是給定的路徑點(diǎn))

飛行結(jié)果表明，該模擬器能夠提供可靠的數(shù)據(jù)流，并為自主功能開(kāi)發(fā)提供了多功能接口。我們提供了所有供公眾使用的套件，以促進(jìn)基于該框架的自主無(wú)人機(jī)系統(tǒng)的進(jìn)一步研究和開(kāi)發(fā)。

原文標(biāo)題：用于視覺(jué)SLAM 和導(dǎo)航的端到端無(wú)人機(jī)仿真

文章出處：【微信公眾號(hào)：機(jī)器視覺(jué)智能檢測(cè)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅