從當下各大汽車OEM在新車上采用的自動/輔助駕駛方案來看，不少用到了英偉達、Mobileye或是地平線的高性能芯片，也有用到Lumina、Velodyne或覽沃的激光雷達。但歸根結(jié)底這些都是機器視覺加上先進傳感器的方案，而特斯拉卻一直堅持采用攝像頭的純視覺方案，成了諸多車廠中的一個“異類”。

在上月舉辦的機器視覺和模式識別國際會議（CVPR 2021）上，特斯拉AI主管Andrej Karpathy解釋了為何特斯拉用不到激光雷達。Andrej Karpathy畢業(yè)于斯坦福大學，也是AI大神李飛飛的得意門生之一，他在畢業(yè)后成了OpenAI的一位研究員，隨后被埃隆·馬斯克親自挖去特斯拉做AI主管。

低成本、易維護且方便更新的純視覺系統(tǒng)

深度神經(jīng)網(wǎng)絡是自動駕駛技術(shù)的主要技術(shù)之一，通過處理車載攝像頭傳輸?shù)臄?shù)據(jù)來分析道路、標志、汽車、障礙和行人。但深度學習在圖像中檢測物體往往會出現(xiàn)失誤，因此多數(shù)自動駕駛公司，比如Waymo等，都采用激光雷達來繪制車身周圍的3D地圖，補全神經(jīng)網(wǎng)絡缺失的信息。

然而Andrej提到，激光雷達在自動駕駛上也有自己的難處，你必須用高成本的激光雷達預繪制環(huán)境，然后創(chuàng)建高分辨率地圖，將街道和交通燈聯(lián)系在一起，最后只能局限于這些地圖來駕駛。不過，繪制每個地點的精確地圖是相當困難的，并不是路測車輛收集構(gòu)建好這些高分辨率地圖就完事了，還需要長期的維持工作，很難保證這些基礎設備和數(shù)據(jù)的更新工作。

特斯拉并沒有采用激光雷達和高分辨率地圖結(jié)合的方案，Andrej稱“對特斯拉來說，一切都是初次發(fā)生的，單單靠車身上的八個攝像頭”。經(jīng)過幾年的迭代，特斯拉的自動駕駛工作絕大多數(shù)都是由攝像頭實現(xiàn)，以至于車身上其他的傳感器開始“吃灰”。為此，特斯拉也在今年5月宣布，即日起北美制造的Model 3和Model Y也不再配備毫米波雷達，全面過渡到以攝像頭為主，輔以超聲波雷達的特斯拉視覺系統(tǒng)。

自動標注生成的數(shù)據(jù)集和高效的神經(jīng)網(wǎng)絡

在許多激光雷達和攝像頭的參數(shù)性能比較中，測距往往都是攝像頭的弱項。然而，人類本身也是用“眼鏡”這一純視覺方案來進行距離和速度判斷的，那么人工神經(jīng)網(wǎng)絡能否做到這一點呢？Andrej稱在過去幾個月的研究工作中發(fā)現(xiàn)，這個問題的答案是肯定的。

特斯拉的工作室為了創(chuàng)建這樣一個可以精確檢測物體距離、速度和加速度的深度學習系統(tǒng)，將這一挑戰(zhàn)視為監(jiān)督式學習的問題。監(jiān)督式學習是機器學習中常用的一個方法，此處則被用于在標注數(shù)據(jù)訓練后，讓神經(jīng)網(wǎng)絡學習如何檢測物體和它們的附加屬性。

而打造這樣一個系統(tǒng)，需要的是大量的視頻數(shù)據(jù)、清晰精確的標準數(shù)據(jù)和諸多極端情況組成的數(shù)據(jù)集。

特斯拉與其他具備數(shù)據(jù)采集能力的汽車品牌相比有著一個獨到的優(yōu)勢，那就是數(shù)量。有了百萬輛配備攝像頭的汽車，特斯拉根本不愁數(shù)據(jù)量。

在雨雪等條件下依然能夠正常運轉(zhuǎn)的自動標注 / 特斯拉

那么這種標注是如何進行的呢？一種可行方案是依靠數(shù)據(jù)標注公司進行手工標注，但這樣做的話不僅耗時耗力，成本也不低。特斯拉的自動標注技術(shù)結(jié)合了神經(jīng)網(wǎng)絡、雷達數(shù)據(jù)和人類審查。由于這一數(shù)據(jù)集是離線標注的，所以神經(jīng)網(wǎng)絡可以來回播放視頻，將預測與事實進行比對，從而調(diào)整其參數(shù)，恰恰與實時運行的測試時推理相反。

這種離線標注還有一個好處，那就是特斯拉工程師得以實現(xiàn)無法部署在車上的密集運算型物體檢測網(wǎng)絡，將其用于低延遲的實時應用中去。而雷達的數(shù)據(jù)只是用于進一步驗證神經(jīng)網(wǎng)絡的推理，這個過程還可以讓人工介入，進行一些判斷上的編輯、驗證和調(diào)整工作。

為了實現(xiàn)更好的速度和加速度判斷，在打造這一數(shù)據(jù)集的過程中，特斯拉團隊花了4個月時間開發(fā)了221個觸發(fā)器來指出物體檢測系統(tǒng)上還需哪些調(diào)整，比如雷達與視覺對比不符、物體邊框抖動、純靠主攝像頭進行的檢測等等。這些觸發(fā)器部署在消費車輛中，進行了7輪靜默模式的運轉(zhuǎn)，這些觸發(fā)器并不會對車輛下達任何指令，而輸出的數(shù)據(jù)會和雷達數(shù)據(jù)和駕駛員本身行為進行比較。

最后生成的數(shù)據(jù)集中，特斯拉自動駕駛團隊已經(jīng)收集了1.5PB的數(shù)據(jù)，由100萬個10秒視頻和60億物體標注組成。

特斯拉自動駕駛神經(jīng)網(wǎng)絡架構(gòu) / 特斯拉

為了充分利用這一數(shù)據(jù)集，特斯拉自動駕駛團隊打造了一個高效的循環(huán)神經(jīng)網(wǎng)絡。數(shù)據(jù)經(jīng)過多層次的網(wǎng)絡結(jié)構(gòu)，從而輸出多個參數(shù)。這種架構(gòu)為分布式分工創(chuàng)造了條件，當前特斯拉有一個由20人左右組成的團隊，他們正在全力訓練這一神經(jīng)網(wǎng)絡，負責各自的模塊。

用來訓練深度學習模型的超級計算機

為了處理如此龐大的工作量自然也需要強大的機器，特斯拉當前有三臺用于自動駕駛開發(fā)的超算集群。其中最新的一臺包含720個節(jié)點，每個節(jié)點都由8張英偉達A100 80GB加速卡組成，等于一臺機器就內(nèi)置了5760個GPU。該機器的算力達到了驚人的1.8 EFLOPS，配備了10PB的頂級NVME存儲，速率達到1.6 TBps。

內(nèi)部超級計算機 / 特斯拉

除此之外，為了保障自動駕駛的流暢運行，其自研的FSD自動駕駛芯片也有著強悍的性能。特斯拉的優(yōu)勢在于其垂直集成的開發(fā)，這意味著不論是其CPU、GPU還是NPU，都能最大限度地利用這一神經(jīng)網(wǎng)絡驅(qū)動的視覺方案。

FSD自動駕駛芯片 / 特斯拉

小結(jié)

目前特斯拉的FSD自動駕駛系統(tǒng)已經(jīng)進入了測試階段，已經(jīng)有2000余名的車主在使用這一技術(shù)。特斯拉也在繼續(xù)開發(fā)這一系統(tǒng)，加入更多的駕駛功能。

NHTSA對4月27日前后生產(chǎn)的Model Y評級 / NHTSA

不過，特斯拉拋棄毫米波雷達的做法也引來的一些是非，美國國家公路交通安全管理局（NHTSA）表示，取消毫米波雷達的Model 3和Model Y將失去具備部分先進安全功能的標簽。尚不清楚這未來經(jīng)過測試調(diào)研后，幾款車型會不會重新獲得這些認證，不過可以肯定的是，特斯拉已經(jīng)打算在攝像頭為主的純視覺方案上堅定不移地走下去了。