圖3 仿真?zhèn)鞲衅鲾?shù)據(jù)示例

2、場景與方法

圖4 仿真場景示例

aiSim本身包含了數(shù)十種城市、郊區(qū)的室內(nèi)、室外場景。本文以真實(shí)世界常見的“行泊一體”為例，在一個包含14輛他車的室外停車場環(huán)境（Parking_US-CA_SanJoseAlamitos）中，對主車執(zhí)行了“跟車 -> 切入變道 -> 尋找車位 -> 泊車”的全套連貫動作。

我們在完全固定的軟硬件環(huán)境下，針對三種典型天氣進(jìn)行了5輪完全獨(dú)立的重復(fù)測試，每一輪測試都記錄了長達(dá)1000幀的數(shù)據(jù)，以確保完整與統(tǒng)一。我們將每一輪測試的數(shù)據(jù)與首次測試的基準(zhǔn)數(shù)據(jù)進(jìn)行精確比對：

晴天 (Sunny)：在Sunny.json配置下，模擬了日光充足的理想泊車環(huán)境。

雨天 (Rainy)：切換至Rainy.json配置，引入了雨水對傳感器性能的干擾。

復(fù)雜雪天 (Snowy & Broken Road)：在Snowy.json的預(yù)設(shè)配置基礎(chǔ)之上，加入了道路老化、標(biāo)線磨損、路面破損、坑洼等極端退化元素，將測試環(huán)境推向了極限。

測試過程中，我們記錄了全部傳感器和車輛狀態(tài)數(shù)據(jù)，包括：

視覺數(shù)據(jù) (Camera)：RGBA原始圖像、語義分割圖、目標(biāo)檢測圖及JSON格式的2D/3D標(biāo)注框。

雷達(dá)數(shù)據(jù) (Radar & LiDAR)：毫米波雷達(dá)和激光雷達(dá)的點(diǎn)云（LAS v1.4）、目標(biāo)列表及3D標(biāo)注框。

車輛自身狀態(tài) (GPS, IMU, Vehicle)：高精度的定位、姿態(tài)、加速度及車輛動力學(xué)信息。

圖5 仿真相機(jī)輸出圖像類型

我們采用均方根誤差（RMSE）來量化圖像、點(diǎn)云等原始數(shù)據(jù)的細(xì)微差異，并對JSON格式的結(jié)構(gòu)化數(shù)據(jù)采用根據(jù)樣本數(shù)值差異個數(shù)進(jìn)行判定的統(tǒng)計(jì)確定性檢驗(yàn)。

3、驗(yàn)證結(jié)果

Camera Sensor的RGBA原始圖像、分割圖像、目標(biāo)檢測圖像均以tga格式輸出，2D Bounding Box、3D Bounding Box均已json格式輸出。通過比較同一環(huán)境、場景下相同幀之間的誤差或差異項(xiàng)，驗(yàn)證Camera的確定性。

對于tga格式文件，計(jì)算所有1000幀圖像所有通道的像素均方根誤差（MSE，Mean Squared Error）。在3類天氣5次測試過程中，RGBA原始圖像、分割圖像、目標(biāo)檢測圖像的所有通道的像素均方根誤差均為0；

圖6 基于python腳本可視化的彩色圖像、分割圖像、目標(biāo)檢測圖像均方根誤差結(jié)果

對于json格式文件，比較2D與3D Bounding Box的所有Group的key與value，記錄差異項(xiàng)個數(shù)（Number of Differences）。在3類天氣5次測試過程中，Bounding Box信息（包括位置、姿態(tài)、個數(shù)、類型、id、相對速度、持續(xù)時間、像素遮擋率等）不存在差異項(xiàng)。

圖7 基于python腳本可視化的2D&3D BoundingBox差異項(xiàng)個數(shù)結(jié)果

Radar Sensor輸出json格式的檢測目標(biāo)相關(guān)信息，包括距離、旋轉(zhuǎn)、相對速度、id、類型等，因此與相機(jī)的Bounding Box一樣，記錄差異項(xiàng)個數(shù)（Number of Differences），結(jié)果也是一樣，不存在差異項(xiàng)。

圖8 基于python腳本可視化的Radar檢測差異項(xiàng)個數(shù)結(jié)果

LiDAR Sensor生成的輸出包括兩種格式的數(shù)據(jù)：LAS格式的3D激光點(diǎn)云和JSON格式的目標(biāo)檢測數(shù)據(jù)。激光點(diǎn)云數(shù)據(jù)包含每個點(diǎn)的坐標(biāo)、強(qiáng)度、返回次數(shù)、唯一標(biāo)識符（ID）等，我們比較內(nèi)部的所有屬性，記錄差異項(xiàng)個數(shù)（Number of Differences）；
對于以JSON格式輸出的目標(biāo)檢測數(shù)據(jù)，與Camera類似，我們將比較所有Group的鍵（key）與值（value），并記錄差異項(xiàng)個數(shù)（Number of Differences）。最終結(jié)果與前面相同，在3類天氣5次測試之間均不存在差異項(xiàng)。

需要指出的是，由于las文件和檢測到的目標(biāo)內(nèi)部包含的GPS時間屬性在aiSim中取自系統(tǒng)時間（UTC時間），該項(xiàng)不納入差異比較范圍。

圖9 基于python腳本可視化的LiDAR檢測差異項(xiàng)個數(shù)結(jié)果

GPS Sensor、IMU Sensor以及用于觀測仿真自車狀態(tài)的Vehicle Sensor輸出的均為JSON格式的信息，同樣比較所有Group的鍵（key）與值（value），并記錄差異項(xiàng)個數(shù)（Number of Differences）。對于3類天氣5次測試的GPS、IMU、Vehicle數(shù)據(jù)信息，3類天氣5次測試之間均不存在差異項(xiàng)。

圖10 基于python腳本可視化的GPS、IMU、Vehicle Sensor結(jié)果

04 總結(jié)

在本文設(shè)計(jì)的傳感器配置與場景中，aiSim的各項(xiàng)傳感器數(shù)據(jù)在固定的參數(shù)配置下，仿真過程與仿真結(jié)果不存在任何差異（除UTC時間）。除了本文提到的傳感器與場景，在其他不同環(huán)境、傳感器配置下的驗(yàn)證中，aiSim也均表現(xiàn)出了卓越的確定性。

在aiSim的仿真世界里，沒有偶然和隨機(jī)，只有精確和必然。每一次的測試結(jié)果都真實(shí)反映了被測算法的真實(shí)能力，每一次的問題暴露都能被穩(wěn)定復(fù)現(xiàn)和修正。

參考文獻(xiàn)
1.On Determinism of Game Engines Used forSimulation-Based Autonomous Vehicle Verification