無需打字、無需搜索表情，只需對著手機(jī)微笑，就能發(fā)出微笑表情包。

同樣的，對著手機(jī)皺眉，就能發(fā)出皺眉表情包。

以上功能來自一款名為 C-Face 耳機(jī)的設(shè)備，它誕生于康奈爾大學(xué)華人科學(xué)家張鋮的 SciFi 實(shí)驗(yàn)室。他近日以通訊作者身份在 UIST 2020（User Interface Software and Technology）會(huì)議上發(fā)表了這項(xiàng)研究，論文名為《即使戴著口罩耳機(jī)也可以跟蹤面部表情》（Earphone tracks facial expressions, even with a face mask）。 圖 | 張鋮（來源：受訪者） 除張鋮之外，論文第一作者還有來自北京大學(xué)、目前在康奈爾大學(xué)訪問的本科生陳拓潮。 論文表示，該耳機(jī)可通過觀察臉頰輪廓，來連續(xù)跟蹤面部表情，并能把表情轉(zhuǎn)換為表情符號、或無聲語音命令。DeepTech 聯(lián)系到張鋮，并就該耳機(jī)和其進(jìn)行了深入交流。 圖 | 耳機(jī)的展示視頻 他表示，C-Face 耳機(jī)是實(shí)驗(yàn)室系列研究的其中一款設(shè)備。該系列研究主要探索信息的獲知，如果缺乏信息，計(jì)算機(jī)就很難理解人類動(dòng)機(jī)和行為。而 SciFi 實(shí)驗(yàn)室的長期工作，是致力于提升人機(jī)交流，但是第一步，計(jì)算機(jī)需要獲取到信息。 攝像頭是獲取信息的最常用手段之一，比如在室內(nèi)外布置攝像頭，并且攝像頭必須沒有遮擋，這就導(dǎo)致傳統(tǒng)的 “攝像頭方法” 會(huì)在某些場景中失靈。比如，在獲取臉部表情時(shí)，是用攝像頭直接 “捕捉” 人臉，但用戶在外面時(shí)，不可能時(shí)刻臉部對著攝像頭。 而本次的 C-Face 耳機(jī)，正是一款可用于實(shí)時(shí)獲取臉部信息的耳機(jī)。其原理是，由于人臉有很多肌肉，肌肉之間相互連接，臉部在做不同表情時(shí)，其他肌肉也會(huì)被牽動(dòng)，嘴巴、眼睛和眉毛的位置與形狀也會(huì)發(fā)生變化。基于此，經(jīng)該實(shí)驗(yàn)室的設(shè)計(jì)后，耳機(jī)可通過比較容易捕捉到的肌肉變化來推測出面部表情。

圖 | 不戴口罩時(shí)戴著耳機(jī)做表情 由于新冠疫情的影響，研究人員只能在 9 名參與者的情況下測試耳機(jī)。盡管如此，表情符號的識(shí)別準(zhǔn)確度仍然超過 88％，面部提示的準(zhǔn)確度超過 85％。

圖 | 戴口罩時(shí)戴著耳機(jī)做表情 具體來說，耳機(jī)內(nèi)置兩個(gè)迷你攝像頭，它們可以捕捉到側(cè)面臉頰形狀，并通過臉頰形狀來判斷你的臉部表情。因?yàn)槿嗽趫?zhí)行面部特征時(shí)，面部肌肉組織就會(huì)拉伸和收縮，進(jìn)而推動(dòng)和拉動(dòng)毛孔和皮膚，并對面部肌肉組織的緊繃產(chǎn)生影響，這種影響會(huì)導(dǎo)致臉頰輪廓發(fā)生改變。

在耳機(jī)中，攝像頭可以傳輸數(shù)據(jù)，數(shù)據(jù)會(huì)傳輸?shù)?a target="_blank">微處理器（Raspberry Pi），微處理器收集數(shù)據(jù)，并把它發(fā)到計(jì)算機(jī)上，這時(shí)深度學(xué)習(xí)算法就能開始工作。 深度學(xué)習(xí)在耳機(jī)中的應(yīng)用 很多情況下，深度學(xué)習(xí)在數(shù)據(jù)上的效果，比傳統(tǒng)機(jī)器學(xué)習(xí)的效果更好。本次耳機(jī)之要想實(shí)現(xiàn)根據(jù)側(cè)臉和臉頰形狀來推斷整個(gè)面部表情，其實(shí)并不容易，因?yàn)槊總€(gè)人的側(cè)臉都不一樣。 因此，就得通過深度學(xué)習(xí)來采集訓(xùn)練數(shù)據(jù)，具體做法是先采集到用戶臉頰變化情況，并結(jié)合前置攝像頭來捕捉面部表情，以標(biāo)記出相對應(yīng)的臉部表情。 這相當(dāng)于攝像頭每一幀圖片，都有一個(gè)對應(yīng)的面部表情。采集到訓(xùn)練數(shù)據(jù)后，研究人員就能發(fā)掘出不同臉頰形狀與面部表情間的復(fù)雜對應(yīng)關(guān)系。

張鋮表示，深度學(xué)習(xí)的好處是能通過復(fù)雜學(xué)習(xí)，來學(xué)習(xí)一些人類不擅長的技能。有的技能人類很擅長，比如一眼就能識(shí)別某些物體。但有些技能人類并不擅長，比如只根據(jù)側(cè)面臉頰，我們很難判斷出臉部全部形狀。 深度學(xué)習(xí)的能力是，可通過算法找出事物間的復(fù)雜聯(lián)系，從而根據(jù)側(cè)部面頰，準(zhǔn)確推斷出面部表情。 具體工作時(shí)，在攝像機(jī)捕獲圖像后，計(jì)算機(jī)視覺和深度學(xué)習(xí)模型會(huì)對其進(jìn)行重建。由于原始數(shù)據(jù)是二維的，因此卷積神經(jīng)網(wǎng)絡(luò)（一種擅長對圖像進(jìn)行分類、檢測和檢索的人工智能模型）有助于將輪廓重構(gòu)為表達(dá)式。 此外，該模型可將臉頰圖像轉(zhuǎn)換為 42 個(gè)面部特征點(diǎn)，它們分別代表受表情變化影響最大的部位，如嘴巴、眼睛、眉毛等。 這 42 個(gè)特征點(diǎn)代表的面部表情，也可用于推測出 8 個(gè)表情符號，包括 “無表情”“生氣” 和 “ Kissy-face”，另外還有 8 個(gè)可用于控制音樂設(shè)備的靜音語音命令，如 “播放” ，“下一首” 和 “音量增大” 等。

相比傳統(tǒng)方法用前置攝像頭來識(shí)別表情，C-Face 耳機(jī)的獨(dú)特優(yōu)勢是戴著口罩也能被耳機(jī)捕捉到表情，即攝像機(jī)無需對著人臉，只需觀察從耳朵到側(cè)面臉頰的形狀就能識(shí)別表情。 因?yàn)榧词鼓愦髦谡郑ǔ罂谡殖猓瑐?cè)面臉頰形狀并不會(huì)發(fā)生巨大改變，這時(shí)深度學(xué)習(xí)仍然可以工作。

本次研究還展示了 C-Face 耳機(jī)的兩大功能：無聲語音識(shí)別和前文的輸入表情包。 無聲語音識(shí)別指的是，一般的語音識(shí)別，都是通過聲音來識(shí)別。如果不通過聲音，是否也能識(shí)別？因?yàn)椋偃缒阍陂_會(huì)、看電影等場合，突然說話就會(huì)很奇怪。再就是，當(dāng)周圍有很多噪音，即便說話也無法識(shí)別。 而 C-Face 耳機(jī)可通過分析用戶表情，來識(shí)別沉默的語音指令。這一功能的常見應(yīng)用場景有，當(dāng)你跑步時(shí)只需做個(gè)嘴形，相關(guān)智能設(shè)備就能以非常私密的方式，來獲悉你的指令。 另一個(gè)可以想象的應(yīng)用場景是健康預(yù)測，張鋮表示，未來該耳機(jī)有望連續(xù)記錄表情。獲得大量表情數(shù)據(jù)后，就可獲知用戶每天的心情狀況。這樣大量的情緒信息，還可幫助計(jì)算機(jī)了解用戶的精神健康狀況。

兩款耳機(jī)：入耳式和頭戴式 本次耳機(jī)分為兩款：入耳式和頭戴式，功能上它們非常類似。張鋮表示，它們所屬項(xiàng)目都叫 C-Face，該項(xiàng)目并不局限于某一種特定的設(shè)備，只是在本次論文中展示了入耳式耳機(jī)和頭戴式耳機(jī)。 唯一的區(qū)別是，兩種耳機(jī)的攝像頭位置略微不同。頭戴耳機(jī)相對大一點(diǎn)，有較大空間放攝像頭。 談及耳機(jī)是否可用于 VR 游戲，張鋮表示，經(jīng)常有人問他這個(gè)問題，而他的答案一直是 Yes or NO。 即當(dāng)然可以用在 VR 上面，但以他了解到的最新技術(shù)來說，VR 眼鏡已有更好的解決方案。 VR 眼鏡本身已經(jīng)很大，通過在上面加設(shè)備來捕捉人的表情，此前已經(jīng)有人做過。而 C-Face 耳機(jī)的好處是它非常小，日常可以進(jìn)行穿戴。因此，他覺得 VR 眼鏡不一定是 C-Face 耳機(jī)最核心的爆點(diǎn)。

他舉例稱，該實(shí)驗(yàn)室的耳機(jī)可以潛在地提供視頻聊天功能。現(xiàn)在的視頻聊天，都需要用戶面前放置一個(gè)攝像頭 （桌子上或者手舉著）。 但如果用耳機(jī)來聊天，耳機(jī)自己就能捕捉你的面部表情，你也不需要把攝像頭對著臉，你的朋友時(shí)時(shí)刻刻都能看到你的臉，包括走路時(shí)、開車時(shí)、甚至做飯時(shí)都可以跟人聊天。 解決功耗問題，就能加速落地 談及商業(yè)落地，張鋮表示本次論文發(fā)表后，有廠商已經(jīng)和他們聯(lián)系討論一些初步的合作可能性。但想在短期內(nèi)實(shí)現(xiàn)到現(xiàn)有設(shè)備，最需要解決的仍然是可穿戴設(shè)備上的功耗問題。而這一難題，超出了該實(shí)驗(yàn)室的能力，因此需要工業(yè)界投入資金去優(yōu)化功耗問題。

目前的耳機(jī)，是研究人員買來零件組裝的，攝像頭可以選配，只是價(jià)錢和分辨率會(huì)有區(qū)別。在零件的選擇上，他們未做過高要求，目的是讓設(shè)備更快速落地成產(chǎn)品。 他認(rèn)為，該實(shí)驗(yàn)室做這款設(shè)備，更多是著眼于未來。他們做研究的目的，更多是描述研究人員眼中的未來可能性。 張鋮表示，未來的攝像頭可能會(huì)變得非常小、功耗也非常低。盡管現(xiàn)在的耳機(jī)只是實(shí)驗(yàn)室設(shè)備，但是如果能耗問題得以解決，它有可能在 5 到 10 年后實(shí)現(xiàn)應(yīng)用。 如果想把小型攝像頭利用到現(xiàn)有設(shè)備上，能耗是個(gè)很大的問題。因?yàn)椋瑪z像頭會(huì)耗電，處理攝像頭數(shù)據(jù)也會(huì)耗電，這是該設(shè)備的最大局限性。 就落地為產(chǎn)品來說，頭戴式耳機(jī)短期內(nèi)可能相對方便一點(diǎn)，因?yàn)樗梢苑胖酶蟮碾姵亍τ谌攵蕉鷻C(jī)，該實(shí)驗(yàn)室未來也會(huì)尋找更加低功耗的方法來解決問題。

因?yàn)槿绻褦z像頭裝在耳機(jī)上，那么攝像頭的耗電量肯定比耳機(jī)多。這種情況下，無論產(chǎn)品有多么酷炫，如果使用十分鐘就沒電了，也不會(huì)有人愿意購買。 如果想快速推出該耳機(jī)，可能只能先實(shí)現(xiàn)一部分功能，因?yàn)楣I(yè)界做產(chǎn)品都有一個(gè)提前周期，比如要想現(xiàn)在發(fā)布一款產(chǎn)品，可能兩年前就得開始規(guī)劃。 與此同時(shí)，該實(shí)驗(yàn)室并不局限于耳機(jī)，他們關(guān)注的是 “無處不在的計(jì)算和人機(jī)交互”，未來還有可能研發(fā)出智能耳環(huán)、智能衣服，而他們的愿望就是讓似乎無法智能的物體也變得智能起來。 -End-

原文標(biāo)題：耳機(jī)可檢測表情？戴著口罩也可以，華人科學(xué)家新發(fā)明讓人臉變成“表情包”

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq