0. 引言

多機(jī)器人協(xié)作在搜索救援、工業(yè)自動(dòng)化、智慧農(nóng)業(yè)等領(lǐng)域發(fā)展迅猛，而協(xié)同SLAM(C-SLAM)是實(shí)現(xiàn)多機(jī)器人協(xié)作的核心技術(shù)。現(xiàn)有的EuRoc、KITTI等數(shù)據(jù)集雖然在單機(jī)SLAM領(lǐng)域發(fā)揮了重要作用，但卻很難去評(píng)價(jià)多機(jī)協(xié)同的軌跡和建圖精度。近日，中山大學(xué)團(tuán)隊(duì)開發(fā)了一種用于協(xié)作SLAM的大規(guī)模多模態(tài)數(shù)據(jù)集，由3個(gè)無人車沿四種軌跡采集，包含7個(gè)室外場(chǎng)景和5個(gè)室內(nèi)場(chǎng)景。這是第一個(gè)使用各種室內(nèi)和室外環(huán)境的激光雷達(dá)、視覺和慣性數(shù)據(jù)的C-SLAM數(shù)據(jù)集，研究機(jī)器人協(xié)作的小伙伴一定不要錯(cuò)過！

2. 摘要

隨著使用一組機(jī)器人協(xié)作完成任務(wù)的要求越來越高，研究界對(duì)協(xié)作同步定位和地圖繪制越來越感興趣。不幸的是，現(xiàn)有的數(shù)據(jù)集在它們捕獲的協(xié)作軌跡的規(guī)模和變化方面是有限的，盡管不同主體之間的交互軌跡的一般化對(duì)于協(xié)作任務(wù)的整體可行性是至關(guān)重要的。為了幫助將研究社區(qū)的貢獻(xiàn)與現(xiàn)實(shí)世界的多主體協(xié)調(diào)SLAM問題結(jié)合起來，我們引入了S3E，這是一個(gè)由無人駕駛地面車輛車隊(duì)沿著四個(gè)設(shè)計(jì)的協(xié)作軌跡范例捕獲的新的大規(guī)模多模態(tài)數(shù)據(jù)集。S3E由7個(gè)室外和5個(gè)室內(nèi)場(chǎng)景組成，每個(gè)場(chǎng)景都超過200秒，由同步和校準(zhǔn)良好的高質(zhì)量雙目相機(jī)、激光雷達(dá)和高頻IMU數(shù)據(jù)組成。至關(guān)重要的是，我們的努力在數(shù)據(jù)集大小、場(chǎng)景可變性和復(fù)雜性方面超過了以前的嘗試。它的平均記錄時(shí)間是開創(chuàng)性的EuRoC數(shù)據(jù)集的4倍。我們還提供仔細(xì)的數(shù)據(jù)集分析以及協(xié)作SLAM和單個(gè)對(duì)應(yīng)方的基線。

3. 數(shù)據(jù)集介紹

3.1 數(shù)據(jù)采集車

如圖1所示是用于采集S3E數(shù)據(jù)集的無人車，每個(gè)無人車上都有2個(gè)高分辨率彩色相機(jī)、1個(gè)16線激光雷達(dá)、1個(gè)9軸IMU以及1個(gè)雙天線RTK。表1所示是無人車所使用傳感器的具體參數(shù)。 表1 傳感器設(shè)備參數(shù)

無人車所使用的平臺(tái)是Agilex Scout Mini，它是一款四輪驅(qū)動(dòng)、最高車速10km/h的全地形高速遙控移動(dòng)平臺(tái)。在具體的數(shù)據(jù)采集過程中，作者使用Velodyne VLP-16 Puck來記錄360°點(diǎn)云數(shù)據(jù)。使用兩臺(tái)HikRobot MV-CS050-10GC GigE相機(jī)采集雙目視覺數(shù)據(jù)，其中雙目相機(jī)的基線為360mm，圖像通過全局快門掃描捕獲，并從原始圖像降采樣到1224x1024。此外，還使用9軸Xsens MTi-30-2A8G4 IMU記錄三個(gè)加速度計(jì)和三個(gè)陀螺儀。為了進(jìn)行驗(yàn)證和測(cè)試，作者還使用Femtomes Nano-D RTK配備雙天線在GNSS可用區(qū)域捕獲軌跡真值，真值采集頻率為1 Hz。無人車平臺(tái)上所有傳感器的安裝位置如圖2所示，采集到的S3E數(shù)據(jù)集樣例如圖3所示。

圖2 傳感器布局和坐標(biāo)系

圖3 S3E數(shù)據(jù)集的數(shù)據(jù)示例，每行都顯示了不同平臺(tái)同時(shí)捕捉到的雙目圖像和點(diǎn)云。

3.2 傳感器同步

在多傳感器融合中，時(shí)間同步和傳感器校準(zhǔn)至關(guān)重要。因此，作者在此方面也做了很多的工作。 (1) 時(shí)間同步：如圖4所示，S3E的同步系統(tǒng)使用Altera EP4CE10板作為觸發(fā)器，Intel NUC11TNKv7作為主機(jī)。對(duì)于不同機(jī)器人間的同步，作者把這個(gè)問題分成兩種情況來討論。首先，應(yīng)用GNSS時(shí)間作為室外場(chǎng)景中的全局時(shí)間源來校準(zhǔn)機(jī)器人的計(jì)時(shí)器。之后，在無GNSS系統(tǒng)中(室內(nèi)場(chǎng)景)，所有機(jī)器人運(yùn)行時(shí)間校準(zhǔn)程序，通過無線網(wǎng)絡(luò)從PTP服務(wù)器獲取外部全局時(shí)間數(shù)據(jù)。 對(duì)于內(nèi)部同步，觸發(fā)單元周期性地產(chǎn)生脈沖來觸發(fā)激光雷達(dá)、雙目攝像機(jī)和IMU。值得注意的是，FPGA產(chǎn)生1 Hz脈沖來觸發(fā)激光雷達(dá)，然后激光雷達(dá)返回10 Hz數(shù)據(jù)，并在接收到觸發(fā)信號(hào)后刷新內(nèi)部計(jì)數(shù)器寄存器。攝像機(jī)和IMU在收到觸發(fā)脈沖后立即返回?cái)?shù)據(jù)。 (2) 傳感器校準(zhǔn)：在圖2所示的傳感器布局中，所有的坐標(biāo)系都遵循右手定則。作者使用標(biāo)準(zhǔn)棋盤校準(zhǔn)來運(yùn)行相機(jī)的內(nèi)部校準(zhǔn)。對(duì)于激光雷達(dá)和IMU，由廠家進(jìn)行內(nèi)部傳感器校準(zhǔn)。之后進(jìn)行雙目相機(jī)聯(lián)合標(biāo)定和激光雷達(dá)-相機(jī)聯(lián)合標(biāo)定。此外，在利用Allan標(biāo)準(zhǔn)差對(duì)IMU噪聲建模后，作者還進(jìn)行了相機(jī)和IMU的聯(lián)合標(biāo)定。

圖4 基于FPGA的同步系統(tǒng)架構(gòu)

3.3 軌跡范例

如圖5所示，在S3E數(shù)據(jù)集中，作者設(shè)計(jì)了遵循四種不同的機(jī)器人內(nèi)/機(jī)器人間規(guī)范的閉環(huán)軌跡。 第一種軌跡是C-SLAM應(yīng)用中的典型情況，即機(jī)器人編隊(duì)同時(shí)繞目標(biāo)運(yùn)行，主要用于對(duì)目標(biāo)進(jìn)行稠密三維重建。第二個(gè)軌跡模擬區(qū)域搜索和救援任務(wù)，每個(gè)機(jī)器人在不同的區(qū)域搜索，并在交互過程中與其他機(jī)器人共享信息。這種情況要求C-SLAM算法在小的公共區(qū)域內(nèi)具有可靠的機(jī)器人內(nèi)部閉環(huán)能力和高效的機(jī)器人之間閉環(huán)能力。第三條軌跡集中于僅具有機(jī)器人間環(huán)路閉合的場(chǎng)景，所有的機(jī)器人都從不同的地方開始，并在路徑中的一些會(huì)合點(diǎn)前進(jìn)，最后在同一個(gè)地方相遇。第四條軌跡中，機(jī)器人從不同的地方開始，終點(diǎn)是同一個(gè)地點(diǎn)。這種情況在C-SLAM中非常困難，因?yàn)樗械臋C(jī)器人只在終點(diǎn)相遇，幾乎沒有為回環(huán)提供任何信息。 圖6顯示了室外環(huán)境中S3E數(shù)據(jù)集的軌跡，它包含校園內(nèi)五個(gè)有代表性的功能區(qū)域，即廣場(chǎng)、圖書館、學(xué)院、操場(chǎng)和宿舍。

圖5 四種軌跡范例

圖6 S3E數(shù)據(jù)集的室外軌跡，Alpha、Bob和Carol在室外環(huán)境中的軌跡用橙色、紫色和青色標(biāo)注。 S3E數(shù)據(jù)集的室外和室內(nèi)分布情況如表2所示，與其他主流SLAM數(shù)據(jù)集的對(duì)比如表3所示。S3E數(shù)據(jù)集的平均時(shí)間為459.1s，這對(duì)解決C-SLAM的長期評(píng)估問題具有較大幫助。值得注意的是，對(duì)于每個(gè)設(shè)計(jì)的軌跡，該數(shù)據(jù)集至少包含一個(gè)序列。此外，Dormitory為第三類和第四類的混合軌跡，Laboratory_1為第二類和第四類的混合軌跡。 表2 S3E數(shù)據(jù)集分析

表3 與一些流行的SLAM數(shù)據(jù)集的對(duì)比

4. 實(shí)驗(yàn)

4.1 基線

如表4所示，作者在S3E數(shù)據(jù)集上提供了四個(gè)單機(jī)器人SLAM和三個(gè)C-SLAM基線，評(píng)價(jià)指標(biāo)為ATE，均是目前的主流SLAM算法。其中前者包括ORB-SLAM3、VINS-Fusion、LIO-SAM以及LVI-SAM。后者包括COVINS、DiSCo-SLAM以及DCL-SLAM。 作者采用了三種方法來生成軌跡真值：在GNSS可用區(qū)域，由雙天線RTK設(shè)備記錄的厘米級(jí)定位真值。對(duì)于無GNSS的場(chǎng)景，用RTK設(shè)備記錄建筑物外軌道的起點(diǎn)和終點(diǎn)。并利用運(yùn)動(dòng)捕捉設(shè)備來記錄室內(nèi)情況下的起點(diǎn)和終點(diǎn)。 表4 室外環(huán)境下單SLAM和C-SLAM的基準(zhǔn)ATE。α、β和γ分別代表ALPHA、BOB和CAROL

4.2 結(jié)果對(duì)比

對(duì)于單機(jī)器人SLAM，基于激光雷達(dá)的方法通常優(yōu)于基于視覺的方法。在S3E中，大多數(shù)基于視覺的方法在轉(zhuǎn)彎時(shí)無法跟蹤幀，因此，基于LiDAR的C-SLAM超過了基于視覺的C-SLAM。同時(shí)，C-SLAM在成功檢測(cè)到回環(huán)時(shí)，可以狀態(tài)估計(jì)的魯棒性和準(zhǔn)確性。例如DCL-SLAM相比其前端LIO-SAM，平均ATE降低了0.42。在Playground_1序列中，部署單LIO-SAM時(shí)，同心圓Alpha和Bob均無法跟蹤幀，單通過DCL-SLAM可以成功跟蹤，并且精度實(shí)現(xiàn)了大幅提升。在Square_1中，COVINS以7.09的ATE超過了單SLAM，Carol在ORB-SLAM3失敗時(shí)通過協(xié)作實(shí)現(xiàn)了1.75 ATE。 如圖7所示，紅色圓圈表示C-SLAM成功檢測(cè)到回環(huán)。在左側(cè)，DiSCo-SLAM和DCL-SLAM在簡(jiǎn)單的情況下取得成功，因?yàn)椴煌^測(cè)之間的大量重疊保證了后端優(yōu)化的冗余特性。與DCL-SLAM相比，COVINS在兩個(gè)機(jī)器人同向移動(dòng)的端點(diǎn)處成功檢測(cè)到不同機(jī)器人之間的回環(huán)，但在兩個(gè)機(jī)器人相對(duì)移動(dòng)的中點(diǎn)處未能匹配到Bob和Carol之間的特征。這也是DCL-SLAM優(yōu)于COVINS的原因之一。結(jié)果表明，先進(jìn)的C-SLAM系統(tǒng)可以在具有相當(dāng)大重疊度的軌跡間表現(xiàn)良好。

圖7 C-SLAM的定性結(jié)果

5. 結(jié)論

近期，中山大學(xué)開發(fā)了一種由三個(gè)無人車記錄的大規(guī)模C-SLAM數(shù)據(jù)集，它包含激光雷達(dá)-視覺-IMU數(shù)據(jù)。S3E數(shù)據(jù)集包含7個(gè)室外場(chǎng)景和5個(gè)室內(nèi)場(chǎng)景，并進(jìn)行了時(shí)間同步和傳感器校準(zhǔn)。此外，S3E數(shù)據(jù)集中包含了多個(gè)回環(huán)檢測(cè)，并評(píng)估了當(dāng)前最先進(jìn)的C-SLAM及其單機(jī)器人前端比較器的性能。多機(jī)協(xié)同是機(jī)器人領(lǐng)域的一個(gè)重要發(fā)展趨勢(shì)，而目前多機(jī)數(shù)據(jù)集還較少，S3E很大程度上填補(bǔ)了這方面的空白。

審核編輯 ：李倩