每天，在家庭，車輛，工作場所和公共場所，許多人都使用帶光滑玻璃觸摸屏和無處不在的按鈕的人機界面（HMI）。COVID-19病毒的傳播和嚴(yán)重程度不斷提高，使人們越來越擔(dān)心與其他多個人觸摸相同的按鈕或屏幕。大流行突然改變了對替代接口的需求，以減少對物理接觸的需求。

目前還不完全了解病毒是如何傳播的。然而，最近的一項研究表明，SARS-CoV-2可能在玻璃、塑料和鋼等表面上存活兩到三天。這使得在工作場所、零售店和醫(yī)院環(huán)境中，實現(xiàn)人類與機器交互的無接觸替代品變得更加重要。

引入觸摸控制

工業(yè)物聯(lián)網(wǎng)（IIoT）實現(xiàn)了制造和智能機器通信的自動化，但仍有一些時候人類必須與機器交互。為了減少細菌和病毒的傳播，我們需要傳統(tǒng)按鈕或觸摸屏控制的非接觸式替代品。

許多用戶都熟悉家庭或車輛中的語音助手應(yīng)用。然而，這種類型的語音控制在嘈雜的生產(chǎn)設(shè)施、活躍的戶外環(huán)境或說話的人群中是不可靠的。對于這些情況，可以將語音和手勢結(jié)合起來，給出一個適應(yīng)性更強、更穩(wěn)健的多模態(tài)無觸摸界面。

對于語音或視覺控制的系統(tǒng)，機器必須快速可靠地區(qū)分故意的用戶指令和隨機或無意的輸入。例如，只有當(dāng)用戶有意做出這種反應(yīng)時，機器才應(yīng)該打開，而不是僅僅因為一個人站在它附近說話。機器視覺系統(tǒng)可以識別手勢，如手部動作、點頭、揮腳和指點。解讀肢體語言可以成為機器對人類操作者的可見輸入做出反應(yīng)的一種更自然的方式。

基于手勢的解決方案開發(fā)

開發(fā)基于手勢的解決方案的第一步是確定系統(tǒng)必須識別和解釋哪些手勢類型。例如，用戶是只用手交流，還是全身運動？對于視覺系統(tǒng)來說，手指的運動會比整個身體更容易捕捉到嗎？整個身體可能會被衣服或其他隨身攜帶的物品部分遮住？

手勢復(fù)雜度也是重要的設(shè)計參數(shù)。例如，開門可能只需要一個手勢，但調(diào)整環(huán)境控制或改變生產(chǎn)線可能需要一系列復(fù)雜的手勢。

最后，移動速度和環(huán)境條件也會起到重要作用，例如，當(dāng)照明水平較低或太亮?xí)r。了解所有這些因素有助于確定所需攝像機傳感器的數(shù)量和類型、視野、焦距以及檢測和解釋手勢所需的分辨率。

此外，還建議提供一個備用接口，如語音控制或物理觸摸屏，以防用戶無法使用手勢方法。對于工業(yè)環(huán)境中的安全關(guān)鍵功能，應(yīng)用軟件可能需要進行功能安全評估和認證，如針對工業(yè)系統(tǒng)的IEC61508。

把概念變成現(xiàn)實

了解手勢，環(huán)境和攝像頭類型后，我們必須獲取或建立手勢識別機器學(xué)習(xí)模型。圖1的左側(cè)顯示了將手勢示例轉(zhuǎn)換為推理引擎所需的步驟，該引擎實際上是識別手勢的算法。TensorFlow，ONNX和Pytorch是用于此目的的一些常用工具。

只有現(xiàn)在我們才能確定合適的硬件和軟件。手勢識別系統(tǒng)通常建立在工業(yè)級嵌入式平臺上，從連接到通用計算核心的單個智能攝像頭，到為多核處理器提供高度優(yōu)化視覺和機器學(xué)習(xí)加速器的多個攝像頭傳感器。圖1顯示了手勢識別系統(tǒng)的兩種選擇，推薦用于更簡單系統(tǒng)的i.MXRT微控制器平臺，以及用于更復(fù)雜或更快響應(yīng)手勢和視覺系統(tǒng)的NXPi.MX8MPlus應(yīng)用處理器。

立體視覺攝像頭可以使用MIPI-CSI、USB或以太網(wǎng)連接以及音頻輸入，識別語音和聲音發(fā)生器，以提供音頻用戶反饋。顯示面板還可以向用戶提供直觀的指示和反饋，并且可以在非接觸式控制發(fā)生故障或?qū)⒉皇褂玫那闆r下包含備用觸摸屏。

最快的方法是利用現(xiàn)有的嵌入式平臺和工具箱。例如，ToradexApalisi.MX8EmbeddedVisionStarterKit是一種工業(yè)級單板解決方案，基于NXPi.MX8應(yīng)用程序處理器，結(jié)合AlliedVisionsensor，它利用AmazonWebServices（AWS）開發(fā)工具完成對象識別任務(wù)。該工具集可以收集手勢示例，并將其傳輸?shù)紸WS工具中，以訓(xùn)練手勢識別模型。然后，可以將生成的推理引擎加載回同一個工具包中，以識別手勢并通知機器如何響應(yīng)。

結(jié)論

隨著對非接觸式用戶界面需求的增加，機器視覺系統(tǒng)將大受歡迎。這種需求存在于廣泛的應(yīng)用程序中，包括零售、智能建筑、醫(yī)療保健、工業(yè)和娛樂。

在工業(yè)和制造環(huán)境中，無接觸控制不僅可以保證用戶的安全，而且可以改善人類與機器的交互方式。現(xiàn)有的硬件和軟件子模塊可用于構(gòu)建成本效益高的基于手勢的控件，這些控件具有響應(yīng)性和可靠性，從而開創(chuàng)了一個無接觸用戶界面的新時代，這將有助于行業(yè)在新的常態(tài)下繼續(xù)發(fā)展。

責(zé)任編輯：lq