3月20-21日，由佐思產研、佐智汽車主辦，地平線、TTTech、魔智、海信網絡科技、晶眾股份、芯侖光電、PLK、中科慧眼等單位支持的2018第三屆ADAS與自動駕駛國際論壇在上海銀星皇冠假日酒店舉辦。超過400多位嘉賓參加了本次論壇，深圳市自行科技有限公司總經理關艷峰博士發表了《基于FPGA平臺的安全自動駕駛解決方案》的主題演講。

深圳市自行科技有限公司總經理關艷峰

關艷峰：我從第一屆就參加了佐思的ADAS自動駕駛論壇了，今年是第三屆。在第一屆自動駕駛論壇，還沒有人講FPGA，今天看到越來越人在關注FPGA。

自行科技定位在智能汽車電子領域，主要提供ADAS和自動駕駛的核心模組和系統，主要面向感知和定位。目前我們提供的產品主要是基于單目視覺的ADAS和車內駕駛監控系統、以及身份識別系統等。我們的產品已經在前裝乘用車開始商用，我們現在有兩個研發中心，第三個正在建。

自行科技的產品定位，是以深度學習、視覺和FPGA三個主要因素來打造前裝可量產的核心模組和系統，把深度學習作為系統的算法核心，把FPGA作為硬件核心或者計算核心，以視覺融合其他傳感器作為它的感知核心。

我去年提到三個問題，性能、價格、功耗。我們花了24個月優化基于FPGA平臺的ADAS及自動駕駛解決方案和產品。例如，如何滿足自動駕駛需要的大量計算，可靠性，還有對性能的要求，包括幀率，至少20幀以上。今年通過跟Tier 1、車廠的接觸，壓力轉到安全上。因為即使其他方面都好，軟件算法不安全，硬件不安全，整個系統不安全，依然沒有用。所以，我今天的演講強調基于FPGA平臺的產品安全性問題。

從去年5月份到現在一年的時間，我們都在做著如何提升FPGA平臺上的核心模組的安全性的相關工作。因為我們既做車內又做車外，不論自動駕駛還是輔助駕駛，在L5之前都處于人車共駕的狀態，不能只提升外部環境的感知，而忽視駕駛員的感知，這兩款產品都在優化。

未來我們還要繼續加深L3級別自動駕駛感知模組的研究。市場定位上我們是Tier 2，和很多Tier 1合作。在前裝乘用車方面，和某GlobalTier 1合作的一款產品達到相當高的水平，進入了全球體系，今年Q2要量產。新能源車ADAS的量產會在2019年。

關于安全，主要涉及幾個方面，例如，功能安全，信息安全等。

安全的基礎在哪里？自動駕駛系統功能安全首當其沖，這是整個業界三到五年內要解決的問題，之后是信息安全。但需要在基礎性工作做好的前提下，才能談功能安全或者信息安全。

安全基礎工作包括同步問題，如傳感器的同步、人車的同步；失效問題，如硬件失效、軟件失效和算法失效。大家一直都在質疑這個問題，深度學習是一個黑盒子，如果算法失效了怎么辦？

同步問題

關于傳感器同步，我們都有一個共識，需要同時獲得外部環境信息，否則會失去它的價值，導致錯誤的判斷。要保證同時獲取信息，在安全的基礎系統架構上，大多數同行會選擇帶操作系統的處理器。不是說這種處理器不好，而是它在處理傳感器同步的時候基本上是指令觸發的，指令觸發很難控制精準的采樣時間，延時相對較大且不足夠穩定。而FPGA不基于操作系統，是電平觸發，延時小且控制精準。

FPGA分為兩部分，一部分是純邏輯，可直接發出指令，操控傳感器獲取目標信息。不同距離的傳感器，從高速到低速不同的速度范圍，傳感器工作不同，如何在傳感器之間的切換過程實現同步？這有很多具體的約束和要求。

另外一部分是人車同步。在發生交通事故時，是不是駕駛員注意力不夠集中，或者過度依賴自動駕駛系統，這在L4之前都是一個非常重要的問題，所以駕駛員狀態的實時感知和車外環境的實時感知必須同步，不同步會導致危險。車內車外兩個攝像頭要達到同樣的等級，才能提供相應的功能。

關于功能安全的問題，它的核心問題就是在評價指標，危險和風險，它有固定的評價流程。有相應的軟件、硬件和算法方案后，要做功能安全性驗證和失效分析。

失效問題

硬件的失效問題很關鍵，譬如傳感器失效。一套系統有多個傳感器，實際上任何一個傳感器離最終的安全要求都是有差距的。一方面要通過傳感器融合提升單一傳感器的能力，另一方面通過融合使整體感知決策能力更加可靠。

多種傳感器淺度融合，是最簡單的融合算法，但它并未改變單一傳感器的感知能力，我們希望通過深度融合，使得各個單一傳感器得感知能力得到進一步得提升，從而提升整體感知決策得可靠度，這是未來傳感器融合的核心問題。

淺度融合解決不了這個問題，所以做深度融合，這就需要硬件底層的支持，比如是否開放傳感器的RawData。

講到軟件失效，3天造車，5天出Demo方式的軟件架構，是量產不了的。采用開源的代碼或系統，也是量產不了的。對于軟件中的底層驅動，中間件、操作系統，如何去設計、開發、驗證都需要大量的工作，開發周期長，成本高，但這是量產的基礎。

舉個例子，要滿足ISO26262的軟件安全要求，軟件開發中的指針不能隨便用，有的程序開發得很快，用了很多指針，二級指針是禁用的。一些嵌套迭代是不能用的，用了就有可能降低軟件的穩定性。所以基于可量產的安全的軟件架構是必須的，在有安全保證的架構基礎上，軟件才可能安全，這也需要經過專業機構的評估，就像硬件的EMC測試一樣。

算法失效有很多種，尤其對以視覺為主的算法，光線的影響是最嚴重的。我們從兩個方面去看，車內、車外。車內我們是否能夠解決被遮擋、強光、陰陽臉、白天、晚上等各種場景。我們在這些場景下做了足夠評估才能說明算法是可靠的。

我們的FPGA硬件已經迭代了30個月，算法迭代的時間更長。有些環境下，人的肉眼都很難區別，靠算法如何去解決？

語義分割算法的失效，最怕的是車道線出問題。車道線有問題，會導致連鎖問題，連續失效。我們在FPGA上面實現超30幀語義解析，可以大大提高可靠性。

信息安全

信息安全方面，傳感器可能面臨的攻擊，最大的兩類是信號干擾和樣本欺騙。信號干擾主要是針對傳感器的強電磁干擾，另一種是本體干擾，會降低信噪比和信號精度。

從視覺來講，如何對抗樣本欺騙很重要，因為客觀環境造成和人為制造的虛假樣本普遍存在，就需要提高系統性能來對抗樣本的欺騙。客戶問我最多的就是，你們如何去面對人皮面具的欺騙，這需要很多技術去解決。

信息安全，還包括來自于車內網絡和車聯網的入侵。

最后，我想和諸位朋友分享一下自行科技的車內外ADAS功能演進和平臺演進。

功能演進

我們會一直關注車內DMC及車外ADAS的功能演進，及兩者的協同與聯動。尤其是車內DMC部分，我們從基礎的疲勞預警、身份識別、行為檢測，逐步發展到視線追蹤、表情識別等高級功能，為未來的智能座艙、個性化配置及L3級自動駕駛駕駛員接管等功能提供魯棒豐富的感知信息，并和車外ADAS功能協同工作，為駕駛員提供更加安全、精準與人性化的服務。我們也會不斷升級和擴充我們的車內外傳感器組合，來匹配不同階段的功能演進。

平臺演進

不同階段的功能計算復雜度不同，對于硬件平臺的需求也不相同，具體表現在計算力、計算架構、平臺靈活性與可擴展性等。為此，自行科技的硬件平臺演進路線是以XilinxZynq系列為代表的FPGA平臺為主，配合高性價比的MPSoC，通過逐步提升算力，滿足各個階段不同等級的ADAS功能、性能、車規、安規方面的需求。