上周，谷歌在其Made by Google發(fā)布會(huì)上一口氣發(fā)布了數(shù)款新硬件，包括最新的Pixel 4手機(jī)，Pixel Bud 2智能耳機(jī)，Nest Mini智能音箱等。這些新硬件除了形態(tài)上與傳統(tǒng)硬件的不同之外，在用戶(hù)交互上也有創(chuàng)新之處，而這些新的用戶(hù)交互特性也讓相關(guān)芯片進(jìn)入我們的視野。

新硬件形態(tài)需要新的交互方式

上周谷歌的硬件發(fā)布會(huì)是近來(lái)一系列互聯(lián)網(wǎng)公司硬件發(fā)布會(huì)的延續(xù)。在谷歌之前，亞馬遜和微軟也發(fā)布了其新硬件。

如果我們仔細(xì)分析這些互聯(lián)網(wǎng)公司發(fā)布的硬件，我們首先看到的是互聯(lián)網(wǎng)公司希望從傳統(tǒng)智能硬件格局中突圍的決心。這些互聯(lián)網(wǎng)公司發(fā)布的新硬件更注重智能化，往往會(huì)使用一些非傳統(tǒng)的硬件形態(tài)（例如亞馬遜的智能眼鏡）配合人工智能來(lái)實(shí)現(xiàn)讓用戶(hù)耳目一新的效果。互聯(lián)網(wǎng)公司做硬件的最終目標(biāo)還是希望用戶(hù)能通過(guò)硬件作為入口來(lái)使用自己的互聯(lián)網(wǎng)服務(wù)，因此即使每個(gè)硬件的出貨量都不大，但是只要能帶來(lái)一定的流量就算成功。因此，我們會(huì)看到亞馬遜和谷歌都采用了類(lèi)似散彈槍的打法，即一次發(fā)布許多款不同的硬件，而并非集中所有資源去開(kāi)發(fā)一兩款重點(diǎn)硬件。

如前所述，這類(lèi)互聯(lián)網(wǎng)公司開(kāi)發(fā)的新硬件擁有全新的形態(tài)，而其最終目的是希望和用戶(hù)做交互并且把用戶(hù)接入到互聯(lián)網(wǎng)公司的服務(wù)中去。那么，如何在這些新的硬件形態(tài)上搭配新的用戶(hù)交互界面就變得非常重要。目前主流的觸摸屏交互方案已經(jīng)無(wú)法滿(mǎn)足新形態(tài)智能硬件的需求，因此探索下一代用戶(hù)接口以及相關(guān)的硬件芯片就勢(shì)在必行。

終端語(yǔ)音交互

在新的用戶(hù)接口中，目前最廣為接受的是語(yǔ)音交互。語(yǔ)音交互正式進(jìn)入大規(guī)模消費(fèi)應(yīng)用始于蘋(píng)果推出Siri，之后亞馬遜的Echo系列智能音箱的發(fā)布則真正點(diǎn)燃了整個(gè)消費(fèi)語(yǔ)音交互市場(chǎng)。谷歌也不甘落后，在推出Google Home系列智能音箱之后，這次發(fā)布會(huì)上發(fā)布的Pixel 4手機(jī)、Pixel Bud 2智能耳塞和Nest Mini都擁有最新的語(yǔ)音交互接口，同時(shí)擁有相關(guān)的機(jī)器學(xué)習(xí)芯片支持。

那么，谷歌最新發(fā)布的硬件中的語(yǔ)音交互與之前的語(yǔ)音接口有什么不同呢？我們認(rèn)為，其最大的不同就是強(qiáng)調(diào)終端計(jì)算，將語(yǔ)音交互的計(jì)算盡可能都放在終端完成，而無(wú)需傳輸?shù)皆贫恕墓δ苌蟻?lái)說(shuō)，使用終端計(jì)算的語(yǔ)音交互接口可以滿(mǎn)足在無(wú)網(wǎng)絡(luò)連接的時(shí)候也能完成基本的交互，從而大大拓寬了實(shí)用的場(chǎng)景。

從性能上來(lái)說(shuō)，網(wǎng)絡(luò)傳輸會(huì)引入很大的能量消耗和延遲，因此如果能在本地做大部分語(yǔ)音交互運(yùn)算，則可以大大延長(zhǎng)智能設(shè)備的電池使用時(shí)間并在更短時(shí)間內(nèi)就完成用戶(hù)需求響應(yīng)以提升用戶(hù)體驗(yàn)。最后，從合規(guī)角度來(lái)看，目前對(duì)于互聯(lián)網(wǎng)公司對(duì)于用戶(hù)數(shù)據(jù)的監(jiān)管越來(lái)越多，因此把語(yǔ)音交互運(yùn)算在本地完成而非上傳到云端就可以盡可能避免侵犯用戶(hù)隱私的嫌疑。

從計(jì)算復(fù)雜度來(lái)說(shuō)，本地語(yǔ)音交互接口可以分成兩類(lèi)，一類(lèi)是低復(fù)雜度計(jì)算（例如關(guān)鍵詞識(shí)別），這類(lèi)計(jì)算的復(fù)雜度不高，但是需要能消耗盡可能低的能量，且延遲需要盡可能小。另一類(lèi)計(jì)算復(fù)雜度較高（例如實(shí)時(shí)語(yǔ)音轉(zhuǎn)錄成文字以及Assistant類(lèi)需要對(duì)用戶(hù)的語(yǔ)音輸入做一定語(yǔ)義理解的任務(wù)）。

在這次發(fā)布會(huì)中，Pixel Bud 2的語(yǔ)音交互接口就屬于前一種。Pixel Bud 2語(yǔ)音交互的主要特性是可以根據(jù)用戶(hù)的指令去完成發(fā)送短信、閱讀短信、播放音樂(lè)等功能。根據(jù)谷歌的說(shuō)法，Pixel Bud 2內(nèi)部包含了一塊專(zhuān)用的機(jī)器學(xué)習(xí)芯片以完成這類(lèi)語(yǔ)音接口。

仔細(xì)分析Pixel Bud 2這些智能助手的實(shí)現(xiàn)方式后我們認(rèn)為Pixel Bud 2的語(yǔ)音助手主要作用是識(shí)別用戶(hù)的語(yǔ)音指令，并且通過(guò)藍(lán)牙連接的手機(jī)來(lái)完成相關(guān)指令的需求。

例如，如果用戶(hù)通過(guò)語(yǔ)音給出“閱讀短信”的指令，則智能耳機(jī)里的語(yǔ)音助手首先需要識(shí)別出用戶(hù)是在下語(yǔ)音指令，其次需要識(shí)別出語(yǔ)音指令的大致內(nèi)容（“閱讀短信”）并且將指令發(fā)送給手機(jī)，之后手機(jī)端的TTS算法把短信轉(zhuǎn)換成聲音再通過(guò)藍(lán)牙傳送給耳機(jī)并播放。在這樣一個(gè)過(guò)程中，耳機(jī)端的語(yǔ)音接口關(guān)鍵詞識(shí)別算法需要完成較傳統(tǒng)單一關(guān)鍵詞喚醒更復(fù)雜的功能。

除了Pixel Bud 2之外，谷歌在Nest Mini和Pixel 4上也使用了離線語(yǔ)音模型來(lái)支持語(yǔ)音接口。按照谷歌官方的說(shuō)法，在Nest Mini上的專(zhuān)用機(jī)器學(xué)習(xí)加速芯片可以讓Google Assistant更快完成相應(yīng)，而在Pixel 4手機(jī)上的離線語(yǔ)音模型則可以完成更復(fù)雜的語(yǔ)音交互，例如離線語(yǔ)音轉(zhuǎn)錄成文字，復(fù)雜的多輪語(yǔ)音指令等等（例如可以讓assistant去查找一張圖片，并且把它發(fā)送給某個(gè)聯(lián)系人）。

從技術(shù)上來(lái)說(shuō)，第一類(lèi)低復(fù)雜度的語(yǔ)音關(guān)鍵詞識(shí)別算法目前通常會(huì)使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。相較于使用在計(jì)算機(jī)視覺(jué)應(yīng)用中的卷積神經(jīng)網(wǎng)絡(luò)，語(yǔ)音接口中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于性能的需求較低，然而由于應(yīng)用場(chǎng)景對(duì)于硬件的限制（例如耳機(jī)中的芯片不太可能搭配DRAM），如何在硬件成本最低、功耗最小的條件下完成高精準(zhǔn)度的關(guān)鍵詞識(shí)別仍然具有挑戰(zhàn)性。

例如，為了最小化功耗，會(huì)需要芯片中的相關(guān)模組工作在非常低的電源電壓下，甚至比Fab提供的最低電壓還要低，這就給低功耗設(shè)計(jì)流程帶來(lái)了挑戰(zhàn)。此外，由于這類(lèi)應(yīng)用中無(wú)法搭載DRAM，因此對(duì)于神經(jīng)網(wǎng)絡(luò)模型帶來(lái)了不少挑戰(zhàn)，如何在模型尺寸和精確度之間達(dá)成一個(gè)較好的平衡需要很多工作。

總體而言，這類(lèi)設(shè)計(jì)需要做軟硬件結(jié)合設(shè)計(jì)以保證合理的精確度和盡可能低的功耗。根據(jù)現(xiàn)有的消息，我們估計(jì)Pixel Bud 2中使用的機(jī)器學(xué)習(xí)專(zhuān)用芯片很可能是在傳統(tǒng)TWS無(wú)線耳機(jī)芯片上再集成了一塊DSP或者谷歌自己的IP來(lái)完成這樣的低功耗計(jì)算。由于對(duì)于成本和硬件尺寸的限制，我們認(rèn)為未來(lái)針對(duì)該方向的超低功耗語(yǔ)音關(guān)鍵詞交互芯片方案最有可能是以IP的形式存在，或者集成在耳機(jī)的主控芯片中，或者和前端麥克風(fēng)集成在一起。

而Pixel 4手機(jī)上的語(yǔ)音交互屬于典型的高復(fù)雜度語(yǔ)音模型（第二類(lèi)計(jì)算），這類(lèi)模型往往會(huì)需要使用循環(huán)神經(jīng)網(wǎng)絡(luò)而非卷積神經(jīng)網(wǎng)絡(luò)。雖然循環(huán)神經(jīng)網(wǎng)絡(luò)的計(jì)算主要還是矩陣計(jì)算，但是如何優(yōu)化模型和片上內(nèi)存以盡量減少內(nèi)存訪問(wèn)帶來(lái)的消耗仍然是最關(guān)鍵的設(shè)計(jì)要點(diǎn)。

與卷積神經(jīng)網(wǎng)絡(luò)不同，循環(huán)神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)復(fù)用程度并不高，因此如何開(kāi)發(fā)和優(yōu)化相應(yīng)的模型/硬件必須要使用和卷積神經(jīng)網(wǎng)絡(luò)不同的方法，這也是目前循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算硬件的主要挑戰(zhàn)。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的硬件支持在業(yè)界目前還處于較早期的研發(fā)階段，但是相信隨著這類(lèi)復(fù)雜離線語(yǔ)音交互應(yīng)用的普及，會(huì)有越來(lái)越多的設(shè)計(jì)方案和芯片解決方案出現(xiàn)。

我們估計(jì)未來(lái)可能的解決方案有幾種形態(tài)：首先是對(duì)于功耗和性能要求并不嚴(yán)格的場(chǎng)合，通過(guò)把循環(huán)神經(jīng)網(wǎng)絡(luò)的模型設(shè)計(jì)成非常小的尺寸，可以通過(guò)類(lèi)似DSP或者NEON這類(lèi)支持矩陣加速的IP模塊去做計(jì)算。這種方法的好處是可以快速部署，只需要設(shè)計(jì)軟件即可，硬件上不用做太大改動(dòng)，但是問(wèn)題是沒(méi)法優(yōu)化循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于內(nèi)存訪問(wèn)。在對(duì)于性能和功耗有更高需求的場(chǎng)合，則可望會(huì)出現(xiàn)更專(zhuān)用的硬件架構(gòu)以完成加速。例如，目前用于語(yǔ)音應(yīng)用的循環(huán)神經(jīng)網(wǎng)絡(luò)往往稀疏度較高，因此通過(guò)設(shè)計(jì)支持稀疏矩陣存取和運(yùn)算的專(zhuān)用加速器可望能實(shí)現(xiàn)更高的性能和更低的功耗。

總而言之，隨著語(yǔ)音接口的普及，我們可望在更多語(yǔ)音相關(guān)的硬件上看到DSP類(lèi)IP的出現(xiàn)，同時(shí)隨著離線語(yǔ)音復(fù)雜交互的普及，我們可望會(huì)看到專(zhuān)用的語(yǔ)音加速芯片/IP。

隔空手勢(shì)操作

除了語(yǔ)音交互之外，谷歌此次發(fā)布的Pixel 4手機(jī)上的另一個(gè)亮點(diǎn)是使用毫米波雷達(dá)來(lái)實(shí)現(xiàn)隔空手勢(shì)交互。

Pixel 4上的毫米波雷達(dá)芯片系原谷歌先進(jìn)研究項(xiàng)目（ATAP）project soli的商業(yè)化，該毫米波芯片使用60GHz頻段，并且可以用雷達(dá)的方法去檢測(cè)到目標(biāo)與手機(jī)之間的距離變化，從而實(shí)現(xiàn)隔空手勢(shì)操作。

具體來(lái)說(shuō)，雷達(dá)傳感器芯片的技術(shù)原理是首先發(fā)射出電磁波，而發(fā)射的電磁波經(jīng)過(guò)用戶(hù)手的反射回到傳感器端，就能根據(jù)回波來(lái)檢測(cè)用戶(hù)手的位置和動(dòng)態(tài)，并借此完成三維非接觸手勢(shì)檢測(cè)。

Pixel 4上雷達(dá)芯片使用的是57-64GHz的頻段，理論上可以實(shí)現(xiàn)毫米級(jí)別的分辨精度。根據(jù)之前Project Soli發(fā)布的毫米波雷達(dá)傳感芯片（屬于此次使用在Pixel 4中雷達(dá)芯片的原型版本），芯片大小約為8mm x 10mm， 芯片上還有天線陣列（綠色框內(nèi)）用來(lái)實(shí)現(xiàn)波束成型，根據(jù)官方信息該芯片上集成了四個(gè)發(fā)射機(jī)和兩個(gè)接收機(jī)，使用波束成形來(lái)提升分辨率。

使用毫米波雷達(dá)也有局限性。主要問(wèn)題就是硬件對(duì)于尺寸和功耗的需求——毫米波雷達(dá)如果需要做高精度高分辨率檢測(cè)需要使用復(fù)雜的天線和/或多個(gè)雷達(dá)收發(fā)陣列。在60GHz頻段上，復(fù)雜的天線陣列的體積很大，而如果使用多個(gè)雷達(dá)收發(fā)陣列則會(huì)大大增加系統(tǒng)功耗。本次媒體對(duì)于Pixel 4中毫米波雷達(dá)的測(cè)評(píng)中分辨率并不高，據(jù)說(shuō)也是因?yàn)镻ixel 4硬件設(shè)計(jì)中留給雷達(dá)的空間過(guò)小以至于無(wú)法安放下能實(shí)現(xiàn)高分辨精度的雷達(dá)收發(fā)機(jī)陣列和天線陣列。當(dāng)然，這個(gè)問(wèn)題可望在之后能通過(guò)優(yōu)化硬件設(shè)計(jì)來(lái)解決。

事實(shí)上，使用手勢(shì)操作智能設(shè)備一直是業(yè)界開(kāi)發(fā)的方向。傳統(tǒng)的方法是使用攝像頭結(jié)合機(jī)器視覺(jué)的方法。2D攝像頭難以檢測(cè)到手勢(shì)在深度方向的變化，因此限制了交互。微軟 Xbox的Kinect使用ToF 3D攝像頭的方法來(lái)支持手勢(shì)操作，但是3D攝像頭的使用環(huán)境會(huì)受到限制：機(jī)遇結(jié)構(gòu)光的方案速度太慢，而基于ToF的方案在明亮的環(huán)境中性能會(huì)打折扣。

除了視覺(jué)方案之外，超聲波也是一個(gè)可行的方案。超聲波方案與毫米波方案原理相似，只是超聲波方案使用的是超聲波而不是電磁波。超聲波方案的優(yōu)勢(shì)是功耗較小（可以小于1mW而毫米波方案的功耗在10-100mW），缺點(diǎn)是必須使用CMOS工藝無(wú)法實(shí)現(xiàn)的超聲波元件，而毫米波方案可以完全使用CMOS電路實(shí)現(xiàn)，集成度較高。因此，在智能設(shè)備的隔空交互領(lǐng)域，毫米波雷達(dá)和超聲波在具體技術(shù)指標(biāo)上可以說(shuō)是各有千秋。

如果把視角拉遠(yuǎn)一些，我們則認(rèn)為基于電磁波和毫米波的方案有更大的可擴(kuò)展性。我們認(rèn)為，在手機(jī)中加入毫米波雷達(dá)只是這類(lèi)交互的第一步。基于電磁波（包括毫米波）的交互將在未來(lái)幾年內(nèi)出現(xiàn)在更多的智能電器中。除了手勢(shì)交互之外，電磁波還可以檢測(cè)房間內(nèi)的人員情況和物體識(shí)別，并且有望能無(wú)縫與WiFi設(shè)備相銜接，因此省去了安裝攝像頭的麻煩和對(duì)于隱私問(wèn)題。因此，用于交互應(yīng)用的射頻芯片有望成為未來(lái)幾年內(nèi)的一個(gè)新品類(lèi)。

展望未來(lái)，用于人機(jī)交互的毫米波雷達(dá)主要需要克服模組尺寸和功耗的瓶頸，為此必須優(yōu)化雷達(dá)本身設(shè)計(jì)提高信噪比，從而可以在減少天線尺寸/陣列中收發(fā)機(jī)數(shù)量的情況下仍然能實(shí)現(xiàn)分辨精度;或者優(yōu)化天線設(shè)計(jì)，以滿(mǎn)足在小尺寸下仍然能提供很低的衰減。我們認(rèn)為，隨著這些技術(shù)瓶頸被逐漸突破，我們有望看到更多基于毫米波的交互方案出現(xiàn)在智能設(shè)備中。

來(lái)源：半導(dǎo)體行業(yè)觀察