隨著信息技術(shù)的發(fā)展，在傳統(tǒng)物理鍵盤之外，觸屏、虛擬現(xiàn)實(shí)等新型交互接口不斷出現(xiàn)，在提高了交互自然性的同時(shí)，卻顯著降低了交互的性能。如何兼顧交互的自然性和高效性，成為人機(jī)交互研究中的難題。

在信息技術(shù)領(lǐng)域，“胖手指”這一術(shù)語(yǔ)專指由于手指本身的柔軟，以及點(diǎn)擊時(shí)對(duì)于屏幕顯示內(nèi)容的遮擋，在觸屏上點(diǎn)擊時(shí)往往難以精確控制落點(diǎn)位置的問(wèn)題。隨著信息技術(shù)的飛速發(fā)展、新型交互方式的不斷涌現(xiàn)，在人機(jī)交互研究領(lǐng)域，這類問(wèn)題日益成為研究的熱點(diǎn)。

近日獲得中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）優(yōu)秀博士學(xué)位論文獎(jiǎng)的研究成果中，清華大學(xué)博士易鑫試圖以深化的貝葉斯方法解決人機(jī)自然交互行為噪聲帶來(lái)的意圖推理難題，為解決“胖手指”問(wèn)題帶來(lái)了新的思路。

易鑫的導(dǎo)師——清華大學(xué)計(jì)算機(jī)系教授、全球創(chuàng)新學(xué)院院長(zhǎng)史元春告訴《中國(guó)科學(xué)報(bào)》：“這算是我們向讓機(jī)器理解人類行為邁出的一小步。”

兼顧交互的自然性和高效性

貝葉斯方法也稱為貝葉斯定理，它所呈現(xiàn)的公式可以讓人們通過(guò)已知的條件概率（通常是因果方向的）計(jì)算未知的概率，因而成為很多進(jìn)行概率推理的現(xiàn)代人工智能系統(tǒng)的基礎(chǔ)。

而對(duì)于易鑫來(lái)說(shuō)，在他以人機(jī)交互研究為主題的博士學(xué)位論文中，與貝葉斯方法相關(guān)的關(guān)鍵詞是“文本輸入”。易鑫告訴《中國(guó)科學(xué)報(bào)》：“文本輸入是人機(jī)交互中最基本的任務(wù)之一，是人向計(jì)算機(jī)表達(dá)交互意圖的重要途徑。”而在進(jìn)行文本輸入意圖推理時(shí)，目前最常用的方法——經(jīng)典統(tǒng)計(jì)解碼方法，其本質(zhì)也是貝葉斯方法。

隨著信息技術(shù)的發(fā)展，在傳統(tǒng)物理鍵盤之外，觸屏、虛擬現(xiàn)實(shí)等新型交互接口不斷出現(xiàn)，在提高了交互自然性的同時(shí)，卻顯著降低了交互的性能。“如何兼顧交互的自然性和高效性，成為人機(jī)交互研究中的難題。”易鑫說(shuō)。

人機(jī)交互研究的一大特點(diǎn)是與實(shí)際需求或應(yīng)用場(chǎng)景聯(lián)系非常緊密。在數(shù)十年以前，人機(jī)界面就經(jīng)歷了從命令行界面到圖形用戶界面的演變。

易鑫介紹說(shuō)，命令行界面的優(yōu)點(diǎn)是由于物理鍵盤輸入相對(duì)較高的準(zhǔn)確率，以及幾乎不需要冗余的操作，所以熟練的用戶可以達(dá)到非常高的交互效率。但是，其缺點(diǎn)在于交互非常不直觀，用戶需要記憶大量的指令，有時(shí)甚至需要具備計(jì)算機(jī)領(lǐng)域的專業(yè)知識(shí)和技能，才能達(dá)到較高的使用效率。

為了改進(jìn)這一問(wèn)題，研究者提出了圖形用戶界面。圖形用戶界面的一大優(yōu)勢(shì)是擺脫了抽象的命令，顯著降低了用戶的學(xué)習(xí)和認(rèn)知成本。然而，由于圖形用戶界面的基本操作是指點(diǎn)，即用戶需要使用鼠標(biāo)操作屏幕指針來(lái)選擇交互目標(biāo)，因而其往往對(duì)用戶指點(diǎn)操作的精度有較高的要求。

易鑫告訴記者，多年來(lái)人機(jī)界面的發(fā)展趨勢(shì)是越來(lái)越強(qiáng)調(diào)交互的自然性，即用戶的交互行為與其生理和認(rèn)知的習(xí)慣相吻合，并隨之出現(xiàn)了觸摸交互界面，以及近年來(lái)的體感交互、虛擬現(xiàn)實(shí)等三維交互界面。三維交互界面的優(yōu)勢(shì)是進(jìn)一步提升了人機(jī)界面的自然性，但其挑戰(zhàn)則在于完全缺乏觸覺(jué)反饋，導(dǎo)致用戶動(dòng)作行為中的噪聲相對(duì)較大，難以進(jìn)行交互意圖的準(zhǔn)確推理，從而限制了交互輸入的準(zhǔn)確度。

“此前，也有研究者嘗試采用貝葉斯方法解決文本輸入中兼顧交互的自然性和高效性這一難題，但往往僅考慮了落點(diǎn)位置信息，作用有限。”易鑫告訴記者，為此，他在自己的研究中面向多種輸入接口，從點(diǎn)擊模型精度優(yōu)化（提升計(jì)算精度）、面向不確定性輸入映射的計(jì)算方法擴(kuò)展（擴(kuò)展計(jì)算方法）和文本輸入手部動(dòng)作建模（擴(kuò)充先驗(yàn)知識(shí)）等方面優(yōu)化了文本輸入的基本貝葉斯方法，相應(yīng)的技術(shù)也大幅提高了自然文本輸入的交互性能。

觸屏設(shè)備上的模型優(yōu)化

易鑫在其研究中，針對(duì)觸屏軟鍵盤這一文本輸入接口上的胖手指難題，提出了觸屏軟鍵盤上精度優(yōu)化的點(diǎn)擊模型。

他告訴《中國(guó)科學(xué)報(bào)》，在日常生活中，雖然智能手機(jī)、智能手表等觸屏設(shè)備正變得越來(lái)越普遍，但由于觸摸操作的不準(zhǔn)確性，在觸屏上點(diǎn)擊小尺寸目標(biāo)仍然十分困難。而其不準(zhǔn)確性主要來(lái)自兩方面原因：一是用戶點(diǎn)擊行為中的噪聲，也常常被稱為“胖手指”問(wèn)題，二是點(diǎn)擊位置識(shí)別算法的誤差。

為了測(cè)量用戶在智能手機(jī)上觸摸時(shí)的落點(diǎn)偏差，易鑫和他的同伴從校園招募了多名被試人員。在實(shí)驗(yàn)中，他們主要關(guān)注兩個(gè)問(wèn)題：一是落點(diǎn)偏差是否隨著目標(biāo)位置的不同而不同，二是拇指和食指兩種點(diǎn)擊姿勢(shì)下的偏差模式是否一致。最終，他們發(fā)現(xiàn)，在使用食指和拇指點(diǎn)擊時(shí)，點(diǎn)擊偏差都會(huì)受到目標(biāo)位置的影響，其中后者受到的影響更為顯著。

基于觸摸落點(diǎn)位置的高精度識(shí)別方法，易鑫在論文中進(jìn)一步建立了接口尺寸與輸入速度、準(zhǔn)確率和落點(diǎn)分布的作用關(guān)系，提升了軟鍵盤輸入貝葉斯方法中點(diǎn)擊模型與輸入行為的吻合程度，定量描述了當(dāng)用戶在寬度為2.0到4.0厘米的超小尺寸全鍵盤上進(jìn)行文本輸入時(shí)的行為特征。

用戶實(shí)驗(yàn)結(jié)果證明，基于該精度優(yōu)化的點(diǎn)擊模型的貝葉斯方法能支持用戶在寬度僅為3.5厘米的智能手表全鍵盤上達(dá)到與智能手機(jī)軟鍵盤相當(dāng)?shù)摹⒚糠昼?5個(gè)英文單詞的輸入速度和近100%的準(zhǔn)確率。此外，點(diǎn)擊模型的精度優(yōu)化也能將手機(jī)軟鍵盤的文本輸入錯(cuò)誤率降低23%。

另外，易鑫還在研究中定量分析了點(diǎn)擊模型和語(yǔ)言模型的能力分別對(duì)文本輸入的貝葉斯方法識(shí)別效果的影響，為點(diǎn)擊模型的精度優(yōu)化提供了依據(jù)和理論指導(dǎo)。

在行為中發(fā)現(xiàn)知識(shí)

“如果單純就文本輸入問(wèn)題而言，特別是涉及自然的人機(jī)交互方式，易鑫所做的工作在國(guó)際上是領(lǐng)先的。”在對(duì)易鑫的研究進(jìn)行評(píng)價(jià)時(shí)，史元春用詞十分嚴(yán)謹(jǐn)。

可以作為佐證的成果之一是，易鑫對(duì)于空中文本輸入的研究。空中文本輸入對(duì)于后桌面時(shí)代交互（如虛擬現(xiàn)實(shí)、移動(dòng)手機(jī)）是一個(gè)有潛力和被期待的交互需求。在這方面，雖然十指盲打是人們?cè)谌粘Ｉ钪凶罡咝Ш妥盍?xí)慣的輸入方式，但針對(duì)基于該能力的空中裸手十指盲打技術(shù)的研究，此前尚沒(méi)有人取得很好的效果。

而易鑫在研究中提出了一種使得空中裸手十指盲打成為可能的新型技術(shù)ATK。結(jié)果證明，ATK在輸入速度和準(zhǔn)確率方面都超過(guò)了已有的空中文本輸入技術(shù)，第一次較好地實(shí)現(xiàn)了這一已經(jīng)提出數(shù)十年的交互概念。

對(duì)于下一步的研究，易鑫的設(shè)想之一是，研究貝葉斯方法與大數(shù)據(jù)機(jī)器學(xué)習(xí)類方法的融合。他表示，雖然貝葉斯方法在目前的研究中取得了不錯(cuò)的效果，但是其模型的參數(shù)還是基于少量（數(shù)十人）的樣本訓(xùn)練而來(lái)。隨著原型的迭代和可用數(shù)據(jù)的增多，大數(shù)據(jù)機(jī)器學(xué)習(xí)類方法將有機(jī)會(huì)在意圖推理中發(fā)揮重要的作用。然而，為了保持模型的可解釋性與可推廣性，需要探索貝葉斯方法與大數(shù)據(jù)機(jī)器學(xué)習(xí)類方法的有機(jī)融合方法，將“黑盒子”與“白盒子”結(jié)合起來(lái)，以達(dá)到精度和推廣性的同步優(yōu)化。

史元春告訴記者，與人機(jī)交互領(lǐng)域貝葉斯方法的應(yīng)用相比，機(jī)器學(xué)習(xí)領(lǐng)域的貝葉斯方法主要是在數(shù)據(jù)中發(fā)現(xiàn)知識(shí)，而人機(jī)交互則是在行為中發(fā)現(xiàn)知識(shí)。她正主持進(jìn)行的一項(xiàng)“十三五”國(guó)家重點(diǎn)研發(fā)計(jì)劃中的前沿基礎(chǔ)類研究項(xiàng)目，就是開(kāi)展人機(jī)交互自然性的計(jì)算原理的研究，致力于探索使機(jī)器可以理解人類表達(dá)方式的能力。“易鑫的研究也是我們這項(xiàng)研究中的一部分。”史元春說(shuō)。