2017年9月7日，中德合璧的拜騰汽車橫空出世，致力于做國內版“特斯拉”的這家公司，除了在南京設有生產基地外，整個產品平臺、產品設計、產品技術和配件等都在慕尼黑。

發布會上，拜騰推出了將于2019年面世的首款產品-純電動中型SUV車型，這輛車最大的亮點是——配有一款尺寸驚人的液晶屏，具體尺寸是長125厘米、高25厘米。

這塊屏幕在2018CES上大出風頭，但隱藏在其背后的，還有另外一項功能：動態手勢操控。

什么是動態手勢操控？這還得從手勢本身說起。

手勢是人手或者手和手臂結合產生的多種動作，通常分為靜態手勢和動態手勢。簡單來說，靜態手勢只需要判斷某個時間點上手勢的外形特征即可，而動態手勢則需采集一段時間內持續的動作，進行分析，增加了時間信息和動作特征。因此動態手勢識別的難度要大于靜態手勢。

手勢識別通常是出現在VR/AR領域，原本多用于家庭娛樂、智能穿戴領域，但由于價格高昂,此項技術一直沒有大規模應用。而原本在此領域扮演重要角色的手勢識別，也沒能大展身手。那么作為一個新的應用場景，手勢識別在車內交互領域能否煥發新生？

《高工智能汽車》采訪了凌感科技（Usens）美國產品和運營副總裁王亞明，來聽聽他怎么說。

王亞明畢業于麻省理工學院，有20年的軟件和嵌入式系統經驗。此前曾擔任美國微軟、Intel風河公司、聯發科的高層，擔任產品總監和企業高級管理，現任凌感科技美國公司總經理。

手勢識別的二三事兒

手勢識別的實現方式，經歷了二維到三維的轉變。二維手型識別，也稱靜態二維手勢識別，識別的是手勢中最簡單的一類。只能識別出幾個靜態的手勢動作，比如握拳或者五指張開。這種手勢識別本身是通過視覺分析算法，得到預設圖像和拍攝圖像的差異，然后理解手勢的含義。

更確切的來講，是一種手形識別，而非手勢，因為手勢是三維動態的。二維手勢識別拓展性差、控制感弱，因此通常只用來實現一些簡單的功能。

另外一種二維手勢識別，通過更先進的計算機視覺算法，具有了追蹤手勢運動的能力，體驗上從純粹的狀態控制，變成了比較豐富的平面控制。

為了實現更豐富場景的應用，手勢識別引入了三維的方式。三維的手勢識別主要是增加了Z軸的信息，即目標的距離。二維的圖像在得到距離值后，便可以構建出立體的模型，通過追蹤不同時刻目標物體的三維立體形態變化，識別、認識不同的形態，也就可以到更多與之相匹配的的標準含義。這就直接豐富了手勢識別的數量、類型。

三維手勢識別的實現方式，通常有三種，結構光(Structure Light)、光飛時間(Time of Flight)、多角成像(Multi-camera)。結構光是通過激光投射器投射激光束，經過光柵打到物體上產生折射的位移，然后用攝像頭來采集圖樣，通過圖樣的位移變化，算出物體的位置、深度信息。這種方式使用的最佳范圍是1米到4米。

光飛時間的方式是用CMOS傳感器接收發光原件發射到物體上的反射光，然后通過光子的飛行時間計算距離，這種方式簡單，不需要計算機視覺方面的能力。

還有一種就是多角成像的原理，使用兩個或者兩個以上的攝像頭同時攝取圖像，模擬人類視覺，得到目標物體的距離信息，類似于雙目測距。這種技術依賴于計算機視覺算法來匹配兩張圖片里的相同目標，相對前兩種技術而言，性價比較高。

結緣拜騰

凌感科技成立于2013年，是一家為AR/VR提供三維人機交互解決方案的高科技公司，目前已經在硅谷、北京、杭州、深圳等地設立研發及運營中心。其核心技術通過識別手部22個關鍵點，26個自由度，辨別手部姿態，實現全手勢識別。

引以為傲的Inside-out追蹤技術，檢測人頭部的旋轉及運動位移，實現6自由度位置跟蹤，真實還原人在現實世界中的體驗效果，是VR沉浸感不可或缺的重要指標之一。

凌感科技在傳統的消費者領域，手勢識別的能力較強，但由于諸多原因，VR/AR并沒有如人們想象的一樣快速的成長起來，行業進入了較長的蟄伏期。

汽車的車內交互方式，通常有語音、手勢、觸控、物理摁鍵等方式，隨著汽車的智能化來臨，前兩種方式逐漸有取代傳統交互方式的趨勢。

其中，車內手勢交互屬于新事物，在存量車中較為少見，大多出現在一些新的概念車中。相比于傳統的AR/VR領域，車內手勢識別目前主要停留在簡單動作識別層面，要求可靠穩定、快速響應。

凌感科技的車內交互之路，源于一次偶然。拜騰汽車在推出新款車型時，準備在車上加入手勢識別的功能。

拜騰汽車采用了50英寸共享全面屏，對這款屏幕的操作方式，公司希望可以實現手勢動態操控。即駕駛員可通過手勢，完成原有觸控、摁鍵要完成的功能。

對于原來做車內手勢識別的企業而言，這種需求完成難度大，對手勢識別的精準度、穩定性以及響應速度都提出了更高的要求，同時在功能的豐富性方面也不可同日而語。

但對于做AR/VR手勢識別出身的凌感科技而言，車載手勢識別從功能豐富性上是做了減法，需要適應的是車載要求的一些規范。

由于凌感科技主要做的是軟件算法層面的工作，且手勢識別的方式有TOF、多角成像等方式，硬件層面只需要找相應符合要求的攝像頭生產商即可。因此，滿足汽車要求的產品方案，并不難產。

彼時業內符合其要求的，并沒有幾家，凌感科技接受了工作邀請，并且完成了其車載手勢識別的第一次嘗試。應用在拜騰汽車上的手勢識別，有“開始”、“拖曳”、“指向”、“菜單”、“OK”五個手勢，駕駛員只需要伸出右手，完成相應動作即可進行操控。

跟拜騰的合作比較順利，也讓公司意識到，除了傳統領域，正在興起的智能汽車交互，也將會是另外一個市場。

TOF景深、單目IR

凌感科技目前提供的針對車載手勢交互的產品中，支持2種模組。其手勢識別可支持的使用范圍包括，主副駕駛、后排乘客交互的多種場景。

其中在主駕駛位上的交互，包含中控屏、HUD的交互，副駕駛位和中控屏的交互，以及后排乘客和乘客屏的交互。

交互的方式主要有：

? 命令式手勢(Gesture)：接聽電話， 調節音量， 選取歌曲等

? 2D動態交互：操作2D圖形界面， 娛樂， 社交， 工作

? 3D動態交互：操作圖形界面， 娛樂， 社交

凌感科技美國產品和運營副總裁王亞明表示，就目前而言，車內手勢交互限于硬件條件（液晶大屏尚未普及），只完成少數簡單幾項的功能，并不豐富。

但手勢識別本質上可以大大提升車內操控的體驗，并不需要駕駛員分心，去觀察傳統觸控、摁鍵完成操控的位置以及功能，操作人員僅僅需要記住相應功能的手勢，即可完成操控。

而隨著車內大屏的更新換代，越來越多的功能需要觸控去完成，對于駕駛的安全有一定的影響，如果能用手勢代替原有的操控，將會大大提升駕乘體驗，

同時，相比于車內的另外一種交互方式——語音交互，手勢識別也有其它的一些優勢。語音交互是通過機器識別人類語言，完成功能響應。

一方面，語音識別由于人類語言的多樣性，識別算法的有效性，準確性，很難達到通識天下語言，無往而不利。

另外一方面，人類的一些操控行為，并不一定能全部用語言描述。比如對持續性命令的執行（調節音量，調節音視頻播放速度、進度等），較難量化的命令，語音識別就存在一定的局限性。

這類似于鼠標之于PC，其重要性很難被取代。

因此，手勢識別在未來的車內交互領域，重要性一定會逐步體現。國際上一些傳統的汽車OEM廠商，已經在其高端車上搭載了一些簡單的手勢識別功能，其它車企也在觀望、試探階段。

王亞明相信，隨著汽車智能化的發展，手勢識別一定會廣泛進入汽車市場。

車內手勢識別的萌芽期

當然，手勢識別的上車之路，還需要一定的過程。比如，最常見的就是手勢識別方案的成本、可靠性，準確性，體驗是否能達到廠商的要求。

公司目前針對汽車手勢識別，有兩種方案，一種是攝像頭放置在中控位，一種是在車頂位。

中控位的方式ToF景深模組和單目IR模組都適合。優勢是能獲得比較清晰的手區域圖像， 遮擋小， 適合提取全手骨骼。不同車型的設置不一樣， 安裝的位置和角度需要根據實際車型調整， 算法也需要相應進行一定定制。

車頂位的方式適用深度攝像頭（比如BMW采用了這種方式） ， 優勢是能夠很好的控制水平方向距離， 適合手指類的動態操作、 點擊等。 劣勢是需要動作標準，否則隨意地動作遮擋會多。

王亞明表示，無論哪種方式，都需要同車企深度合作，在汽車設計早期就進入共同的研發階段。而這，不僅需要公司的實力過硬，同時產品的功能也能夠豐富，多樣。

由于手勢識別需要深度學習以及視覺的實時處理，對于硬件的算力也有一定的要求。通常的做法是分享汽車ECU算力或者配置單獨處理器。前者容易適配，改裝容易、價格便宜，主機廠商也樂意，但需要手勢識別部分的算力不占用太多資源。后者成本高昂，主機廠商接受度較低。

手勢識別初期在少量歐美高端車上的應用，給全球其它車企起到了一定的示范作用。目前國內的一些車企也在籌劃手勢識別進車的事宜，手勢識別進入汽車的速度可能會超出外界想象。

因此公司未來也會將更多的注意力以及重心放在汽車手勢識別領域。同時，由于國內是全球最大的汽車消費、生產市場，公司的重心也轉移到了國內。目前凌感科技全球共有60余人的團隊，其中2/3在中國，王亞明表示，其非常看好未來手勢識別在車內的應用。