DRIVE Labs 系列文章

第三站：讀懂交通標(biāo)志與信號(hào)燈

始 發(fā) 站 | 自 動(dòng) 駕 駛 基 礎(chǔ) 功 能

第 二 站 | 基 本 路 況 感 知

第 三 站 | 讀 懂 交 通 標(biāo) 志 與 信 號(hào) 燈

第 四 站 | 監(jiān) 控 車 外 的 風(fēng) 吹 草 動(dòng)

第 五 站 | 提 高 道 路 狀 況 的 可 見(jiàn) 性

第 六 站 | 基 于 洞 察 的 智 能 規(guī) 劃

第 七 站 | 為 駕 乘 人 員 的 安 全 保 駕 護(hù) 航

終 點(diǎn) 站 | 尋 找 車 位 與 自 動(dòng) 泊 車

城市道路設(shè)計(jì)縱橫交錯(cuò)，自動(dòng)駕駛汽車在保持車道行駛的同時(shí)，還需“理解”各類道路標(biāo)志，并在行駛過(guò)程中“眼”觀六路、隨機(jī)應(yīng)變，以保證道路交通秩序和行駛途中的安全性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車如何一路“過(guò)關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第三期“讀懂交通標(biāo)志與信號(hào)燈”，將為大家介紹深度神經(jīng)網(wǎng)絡(luò)如何助力自動(dòng)駕駛汽車“讀懂”交通標(biāo)志以及路上的文字、“判斷”信號(hào)燈及限速標(biāo)志，以實(shí)現(xiàn)有序行駛。

上期文章主要介紹了用于基本路況感知的深度神經(jīng)網(wǎng)絡(luò)（DNN），本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹用于交通標(biāo)志和信號(hào)燈判斷的 LightNet DNN、SignNet DNN 和 MapNet DNN 等內(nèi)容。話不多說(shuō)，趕緊與 NVIDIA 一起看看吧！

實(shí)況駕駛對(duì)自動(dòng)駕駛汽車的“觀察”和“理解”能力提出了更高的要求，不僅需要保證自身行駛的安全性，還需要遵守交通規(guī)則，根據(jù)交通標(biāo)志和信號(hào)燈指示行駛，以維護(hù)有序交通秩序，構(gòu)建安全的交通環(huán)境。

借助高精度 MapNet DNN

“觀察”道路標(biāo)記

AI 如何閱讀路上的文字

車道線和道路邊緣檢測(cè)對(duì)于自動(dòng)駕駛汽車的開(kāi)發(fā)來(lái)說(shuō)至關(guān)重要。車道線檢測(cè)能夠驅(qū)動(dòng)諸如車道偏離警告之類的系統(tǒng)，從而避免讓駕駛員偏離車道。自動(dòng)駕駛汽車?yán)?LaneNet DNN 可以檢測(cè)車道線以保持安全、穩(wěn)定的車道行駛。

但實(shí)況道路除車道線以外，還存在各式各樣的道路標(biāo)記（例如箭頭或 STOP 字樣），路邊還會(huì)設(shè)置各類的垂直地標(biāo)（例如路標(biāo)或燈桿）。為助力自動(dòng)駕駛汽車“讀懂”更多車道標(biāo)記，NVIDIA 推動(dòng)了 LaneNet DNN 進(jìn)一步發(fā)展，開(kāi)發(fā)了新功能 MapNet DNN。觀看以上視頻，了解 MapNet DNN 模型如何實(shí)現(xiàn)道路標(biāo)識(shí)和視覺(jué)地標(biāo)的端到端檢測(cè)。

像素級(jí)可視化的 MapNet DNN 檢測(cè)結(jié)果，顯示一個(gè)部分缺失的左轉(zhuǎn)箭頭標(biāo)記。青色表示道路標(biāo)記，深藍(lán)色表示虛線車道線

MapNet DNN 延續(xù)了 LaneNet DNN 的實(shí)況數(shù)據(jù)編碼技術(shù)，創(chuàng)建了足夠的冗余來(lái)保留豐富的車道線信息，并能夠輕松擴(kuò)展并保留任意形狀的道路標(biāo)記以及地標(biāo)（例如桿子）的信息（以“垂直車道線”為例）。高精度 MapNet 還能在道路標(biāo)記部分缺失或遇到道路裂縫、柏油污點(diǎn)等視覺(jué)挑戰(zhàn)的情況下，提供精確的道路標(biāo)記形狀和道路邊緣檢測(cè)，并能夠檢測(cè)不同語(yǔ)言的道路文字標(biāo)記。

此外，MapNet 提供的高精度道路標(biāo)記和地標(biāo)檢測(cè)結(jié)果還可用作自動(dòng)駕駛汽車的地圖和定位功能的輸入，其檢測(cè)垂直地標(biāo)（例如桿子）的能力還有利于自動(dòng)駕駛汽車獲得準(zhǔn)確的縱向定位結(jié)果，提升自動(dòng)駕駛的可靠性。

DNN 組合助力交通標(biāo)志和信號(hào)燈檢測(cè)

利用 AI 對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類

每個(gè)人在最初學(xué)開(kāi)車的時(shí)候都會(huì)從最簡(jiǎn)單的規(guī)則開(kāi)始學(xué)起，其中之一就是“紅燈停，綠燈行”，自動(dòng)駕駛汽車也不例外。此外，它還要學(xué)習(xí)在各類駕駛環(huán)境下精準(zhǔn)識(shí)別交通標(biāo)志和信號(hào)燈并對(duì)其做出正確的反應(yīng)。以上視頻為大家介紹了 NVIDIA DRIVE AV 軟件使用 DNN 組合來(lái)對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類。

在 NVIDIA 感知等待條件軟件的架構(gòu)中，交通信號(hào)燈和標(biāo)志的檢測(cè)與交通信號(hào)燈的狀態(tài)/形狀以及類型分類是分開(kāi)進(jìn)行的，以便能夠優(yōu)化交通信號(hào)燈和標(biāo)志檢測(cè)的精確率/召回率，且能夠讓檢測(cè)獨(dú)立于性能分類運(yùn)行。

交通信號(hào)燈（TL）以及交通標(biāo)志（TS）分類系統(tǒng)圖表

具體而言，NVIDIA 利用 WaitNet DNN 進(jìn)行交叉路口、交通信號(hào)燈和交通標(biāo)志的檢測(cè)。然后，LightNet DNN 將根據(jù)交通信號(hào)燈的形狀（例如實(shí)心與箭頭）和狀態(tài)（即顏色：紅色，黃色，綠色）進(jìn)行分類；同時(shí)，SignNet DNN 將會(huì)識(shí)別交通標(biāo)志的類型。

?

以上兩圖顯示了當(dāng)速度限制從 80 千米/小時(shí)降至 60 千米/小時(shí)，SignNet 對(duì)歐洲限速標(biāo)志進(jìn)行識(shí)別分類，以通過(guò)高速公路最后路段

LightNet 實(shí)時(shí)識(shí)別單個(gè)及組合的交通信號(hào)燈并對(duì)其進(jìn)行分類

WaitNet DNN 在上期內(nèi)容中已經(jīng)介紹過(guò)，這里就不再贅述。在本期視頻中，可以看到 LightNet DNN 和 SignNet DNN 的應(yīng)用情況。總的來(lái)說(shuō)，LightNet DNN、SignNet DNN 與 WaitNet DNN 共同構(gòu)成了等待條件感知軟件的核心，用于檢測(cè)車輛必須減速停止或等待的情況，這對(duì)于半城市和城市環(huán)境中的自動(dòng)駕駛而言尤為重要。

利用 AI 實(shí)時(shí)感知理解限速標(biāo)志

AI 實(shí)時(shí)感知幫助自動(dòng)駕駛汽車?yán)斫庀匏贅?biāo)志

限速標(biāo)志識(shí)別看似是一項(xiàng)簡(jiǎn)單的任務(wù)，但在遇到不同車道具有不同限速的情況（例如高速公路出口）或者在一個(gè)陌生的國(guó)家駕駛時(shí)，這項(xiàng)任務(wù)可能會(huì)變得復(fù)雜。以上視頻介紹了 AI 實(shí)時(shí)感知如何幫助自動(dòng)駕駛汽車同時(shí)根據(jù)顯性和隱性線索更好地理解復(fù)雜的限速情況。

如今，限速標(biāo)志的細(xì)致程度遠(yuǎn)勝于以前。例如，學(xué)校區(qū)域的限速標(biāo)志只在一天中的特定時(shí)段有效。有些限速要求會(huì)通過(guò)電子可變信息標(biāo)志顯示，包括顯示適用于特定車道的限速、在特定條件下的限速或在不同條件下的不同限速。此外，部分交通標(biāo)志也有可能包含限速信息且相近的標(biāo)志直接可能會(huì)有語(yǔ)義的不同。

面對(duì)如此復(fù)雜的情況，NVIDIA 推出了 NVIDIA DRIVESAS（速度輔助系統(tǒng)），通過(guò)各種能夠檢測(cè)和理解隱性、顯性與可變信息標(biāo)志的深度神經(jīng)網(wǎng)絡(luò)（DNN）充分發(fā)揮 AI 實(shí)時(shí)感知的力量。具體而言，NVIDIA WaitNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)檢測(cè)標(biāo)志，SignNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對(duì)標(biāo)志進(jìn)行分類，PathNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)提供路徑感知信息。因此，理解限速標(biāo)志和確定該標(biāo)志與道路上不同車道的相關(guān)性（這一過(guò)程被稱為標(biāo)志-路徑關(guān)聯(lián)性）所需的所有信號(hào)均來(lái)自現(xiàn)場(chǎng)感知，無(wú)需事先從地圖中獲取信息，因而具有很強(qiáng)的靈活性。

實(shí)時(shí)感知 SAS 分析“高速公路入口”標(biāo)志

此外，NVIDIA 的實(shí)時(shí)感知 SAS 所提供的速度標(biāo)志信息和標(biāo)志-路徑相關(guān)性信息可以與地圖信息融合。通過(guò)將多樣化的信息輸入進(jìn)行融合，可以使 SAS 覆蓋更多的現(xiàn)實(shí)世界情景，從而進(jìn)一步提高穩(wěn)定性。

以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 AI 如何助力攝像頭、雷達(dá)、激光雷達(dá)等傳感器監(jiān)控車外的風(fēng)吹草動(dòng)，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門(mén)篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC 23，切莫錯(cuò)過(guò)這場(chǎng) AI 和元宇宙時(shí)代的技術(shù)大會(huì)！