人-信息-物理系統(HCPS)的智能制造理論體系明確了人在智能制造系統的中心地位。從智能制造人機協同的需求出發,基于人機交互鴻溝理論,在行為、意圖、認知三個層面討論了人因工程在“人本智造”中的研究重點。圍繞虛實融合場景、多模態人機交互及認知量化等方法,闡述了人因工程在促進HCPS智能融合的重要作用。最后,從實現HCPS集成的智能制造系統出發,提出了“人本智造”的研究方向和學科發展建議。

本文作者：楊曉楠、房浩楠、李建國、薛 慶。? ? ? ??

引言 ? ? ? ?

“十四五”規劃綱要提出深入實施制造強國戰略,推動智能制造發展,促進制造業智能化升級,實現向“中國智造”的轉變。目前,我國制造業持續快速發展,形成了門類齊全、獨立完整的產業體系,有力推動了我國的工業化和現代化進程。同世界先進水平相比,我國制造業存在大而不強等問題,自主創新能力、資源利用效率、產業結構水平、信息化程度、質量效益等方面的差距尤其明顯,工業智能化轉型升級和跨越發展的任務緊迫而艱巨。

新一代互聯網、人工智能、數字孿生等技術的不斷發展為我國智能制造的發展持續注入了強勁的動力。過分追求信息化、數字化的生產模式已不能滿足生產車間柔性化、用戶個性定制化等復雜作業的需求,智能制造中的難點開始凸顯,因此生產趨勢急需改變,人作為關鍵因素不能再被忽視。工業5.0 的概念逐漸引起人們的重視,作為工業4.0的延續和補充,工業5.0除了注重產業結構優化和自動化水平提升,又將人置于制造業中心,讓技術主動服務和適應人,并更注重人的價值和感受。以人為中心的智能制造要考慮工人的安全感和幸福感,打消工人對工業革命浪潮帶來的“機器換人”的擔憂和顧慮,讓勞動力重回工廠。

在汽車行業,由于頻繁變更的車型,企業需要制造系統具備更加柔性化的部署[1],以滿足智能制造面臨的小批量、多品種的生產需求。在3C行業,電子產品的更新換代周期通常在1到2年,這導致生產線經常需要改造,部署調整成本高[2]。因此無論是考慮生產周期還是實施成本,僅依靠工業機器人很難滿足這些行業的生產需求。作為一種模塊化的小型智能化工廠實踐,整個智能生產單元由自動化模塊、信息化模塊和智能化模塊組成,包含設備、機器人、AGV、網絡、信息數據等。智能生產單元將人作為關鍵因素,由人負責對柔性、觸覺、靈活性要求比較高的工序,機器人則利用其快速、準確的特點來負責重復性的工作,以“最小的智能化工廠”實現多品種、小批量的生產智能化。如何落實人機交互生產模式,將操作人員、機器人和輔助設備等進行模塊化、集成化、一體化的聚合,通過人與機器人的協調合作,充分發揮機器人的效率及人類的智能,使制造系統具備多品種、小批量產品的柔性生產輸出能力,已成為解決當前智能制造發展瓶頸的關鍵[3]。因此,開展人機交互的生產模式,使人和機器和諧共處,滿足消費者對產品個性定制化的需求,打消工人對失業的擔憂,使人回歸制造業。

本文著重分析智能制造系統中的人機協同需求與人機交互鴻溝，從行為、意圖、認知三個層次闡述人因工程在縮小人機交互鴻溝、實現人機協作中的重要性，并在此基礎上結合數字孿生、混合現實等先進技術的發展與應用,提出面向智能制造的人機交互的人因工程發展建議。

1

智能制造中的人機協同

智能制造的藍圖中,人機協同成為主流的生產和服務方式。由于人與“機”的深度協作,人在智能制造系統中的作業任務和要求都發生了巨大的變化。盡管人不再承擔重復性的工作,但仍是決策回路系統的中心環節,始終處于主導地位[4-5]。人機協同的深層內涵是“人機智能融合”,它代表人與“機”需要共同完成指定任務。在完成動態作業任務的過程中,制造系統需要與工作人員保持步調一致,面對動態作業需求,進行資源適配與自主協同,實現協調生產。ZHOU等[6]提出的人-信息-物理系統(human-cyber-physical system,HCPS)的智能制造發展理論,明確了以物理系統(機器、機器人、加工過程)為主體、以信息系統為主導、以人為決策主宰的技術體系(圖1)。通過信息系統遷移人的部分感知、分析和控制功能,替代人的大部分體力勞動和部分腦力勞動。人與物理系統的結合使整個制造系統具備較高的生產效率、生產能力和生產質量[7]。根據智能制造的人-信息-物理系統發展理論,智能制造人機協同中的“機”具有兩層含義:一是信息系統,即人與計算機等智能體、智能系統的交互(human-computer interaction);二是物理系統,即人與機器人、設備等物理實體的交互(human-robot interaction)。本章從智能制造人機協同的需求出發,對人與信息系統、物理系統交互的研究重點進行闡述,并梳理上述過程中存在的人機交互鴻溝。

圖1 新一代人-信息-物理系統的原理簡圖[6] Fig.1 Schematic diagram of the new HCPS

1.1?/ 人與信息系統的交互

智能制造系統[8]是建立在新一代信息技術之上、面向人機協同與生產過程自治的新一代HCPS。HCPS中的關鍵問題在于如何實現人與“機”的智能融合。在復雜且動態變化的生產任務下,信息系統如何通過數據與模型對物理系統進行實時的感知、認知、分析、決策與控制,并與人一起不斷優化分配資源,進行合理的任務決策與調度,實現資源的在線適配,從而實現對作業需求的快速響應與協同生產。數字孿生作為信息-物理空間交互融合的有效手段,能更好地反映實際生產狀態,使操作人員更好地了解系統的整體運行情況。數字孿生技術通過物理模型、傳感器更新、運行歷史等數據,建立物理世界與虛擬世界的雙向動態連接,為解決信息和物理系統的融合提供了有效途徑[9-10]。

柔性生產趨勢下,實現人機協作的核心問題是如何實現人與制造系統的有效協同,尤其是針對信息系統的狀態感知。智能化的生產系統必然產生復雜的信息系統,隨著數字孿生、深度學習、知識工程等在不同領域的發展與應用,如何實現人與制造系統數字孿生體的無縫銜接[11-13],使人通過信息系統快速準確地掌握整個系統的運行狀態,已成為實現人與“機”智能融合的又一關鍵問題。

1.2?/ 人與物理系統的交互

物理系統主要指智能制造系統中的智能設備及機器人。隨著機器人與自動化控制技術的發展,工業機器人憑借控制精度高、反應速度快、工作能力強等優勢,已成為發展智能制造不可忽視的重要組成部分。現在,絕大部分的產業化工業機器人一直未能脫離預編程/遙操作的控制方式,很多工廠雖通過部署機器人實現了自動化,但智能化程度不高[14]。為保證人機交互的安全,需將人與工業機器人的工作區域隔離開,無法實現真正意義上的人機協作。人與靈活、安全的物理系統共同協作已成為發展以人為中心的智能制造系統的關鍵[15-16]。人與機器人共同完成動態作業任務,充分發揮人與機器的長處是未來智能制造的重要研發方向。

與汽車行業相比,航空航天、造船和建筑等領域的制造任務和過程過于復雜,裝配精度要求高,目前仍依賴手工操作[17],因此有必要開展人機協作的研究。由協作機器人輔助人來完成復雜作業,使人的腦力、體力維持在最佳水平,并使大腦認知資源的需求與大腦認知資源對任務的供給處于平衡[18],避免負荷過載和欠載對操作人員的負面影響[19-20],減輕人的負擔,提高任務執行效率和生產安全性。LIU等[21]研究了肌電信號控制協作機器人的相關算法,SARA等[22]探索了指導性手勢在工業領域人機協作場景下的有效性。歐姆龍于2020年推出的“人機協作的智能化單元生產線”融合了人工智能、物聯網、大數據分析等先進技術,針對多品種、小批量生產模式,實現了生產效率、柔性、品質的提升,通過人與機器的互相感知,可在同一現場通過互補、協助實現超柔性生產。國內協作機器人行業的領軍者——遨博于2021年推出的“利用機器人生產機器人的智能化柔性生產線”,通過模塊化設計及協作生產等方式,為協作機器人在工業生產領域中的人機協作應用提供了穩定高效的參考樣本。

上述研究均表明,自動化和智能化的發展并不會完全替代人,如何保障人與物理系統的交互順暢,使機器快速準確地捕獲操作人員的作業意圖是實現人機協同作業的關鍵。

1.3?/ 人機交互鴻溝

智能工廠是實現智能制造的重要載體,智能工廠環境下,人與信息物理系統的關系從傳統的操作控制模式逐步向人機協作的方式轉變。實現人機交互的首要任務是建立一個能實現人與機信息傳輸的渠道,這主要包括3個階段:①操作人員感知信息物理系統,并用自然便捷的行為方式表達作業意圖;②信息物理系統準確理解操作人員的作業意圖,完成智能分析、決策與控制,對不同任務做出反應;③對上述人機信息傳輸過程進行認知能力評估,調節優化雙方的作業方式,從而最大程度降低認知負荷和疲勞度。因此,要想準確有效構建人與信息及物理系統的友好協作關系,還需解決現存的人機交互鴻溝問題。

人機交互鴻溝包括評估鴻溝(gulf of evaluation)和執行鴻溝(gulf of execution)[23],即人與“機”每次交互時都會面臨認知系統狀態、對系統做出反應并執行操作的兩大挑戰,這貫穿于人“機”信息傳輸的3個階段。評估鴻溝指的是人在與系統交互的過程中,對系統狀態的理解與系統實際運行情況的差異。執行鴻溝指的是在交互過程中,人需要采取行動實現特定目標時,操作者的心理認知與系統的實際運行方式之間的差距。人機交互中,評估和執行階段相互依存,描述了操作人員成功與任何系統完成交互所必須經歷的循環,如圖2所示,成功的評估需要感知系統呈現信息的狀態指標并理解其含義,成功的執行需要弄清楚要做什么來完成目標。

圖2 人機交互中的評估與執行鴻溝 Fig.2 Gulf of evaluation and execution in human-computer interaction

智能制造的信息物理系統與操作人員之間必然存在評估鴻溝與執行鴻溝。如果系統不能清楚表示當前狀態,操作人員就必須付出大量的認知資源來了解系統的當前狀況、下一步操作后會發生什么,并且不斷推測、判斷之前的操作有沒有更接近目標。隨著系統復雜性的提高,人需要克服的交互鴻溝也越來越大。系統是由設計人員(專家)創造的,因此鴻溝主要出現在操作人員與專家之間,設計者需要了解人使用系統的操作習慣與認知能力,研究人的潛在學習理論與心智模型是幫助減小交互鴻溝的有效途徑。

2

“以人為本”的智能制造

2.1?/ 智能制造中人的因素

新一代智能制造更加強調人的中心地位[24],智能制造發展的目的是更好地為人服務?；?HCPS 理論,王柏村等[25]提出了包含單元級智能制造、系統級智能制造、系統之系統級智能制造的人本智造架構,并從產品、生產、模式、基礎建設4個維度對“人本智造”進行了闡述(圖3)。其中,以人為本的智能產品是主體,以人為本的智能生產是主線,以人為本的產業模式變革是主題,以人為本的智能制造基礎建設是研究的理論與方法基石。

圖3 “人本智造”四個維度中的人因工程[25] Fig.3 Human factors in four-dimension of human-centered intelligent manufacturing[25]

從智能制造全生命周期的角度出發[26],結合人所擔任的角色,可以看出智能制造的不同環節均需考慮人的因素,這包括人的作用、人體工效學、認知工效學、組織工效學、人機關系等(圖4)。國內外學者對人在制造系統中的關鍵地位、決定性作用進行了分析,梳理了制造系統中的人的因素及相關研究,認為先進技術只有真正和人協同起來才能充分發揮作用,進而真正帶來智能化生產的效益[27-29]。

圖4 智能制造系統中人的因素[25] Fig.4 Human factors in intelligent manufacturing systems

隨著新一代智能制造相關研究的發展,大數據智能、群體智能、跨媒體智能、混合增強智能及自主無人系統極大改變了人在系統中的作用[30-31]。由于信息系統開始具備深度學習和自主認知及決策的相關基本能力,人可以將更多的重復性工作或簡單腦力勞動,甚至知識型工作交給信息系統完成。這使得人可以將更多的精力放在思考和需要更多想象力與創造力的工作上,這一變化將貫穿整個智能制造系統的設計、生產、物流、銷售、服務等環節。此類系統中,人主要作為系統的設計者存在,雖然直接參與系統的實時運行與控制性工作減少,但仍然需要參與系統的運維、創新和優化等環節[32]。

人在系統中的角色和作用發生改變直接導致人機關系的變化。智能工廠環境下,人與信息物理系統的關系從傳統的操作控制模式逐步向人機交互的方式轉變。與此同時,工業5.0的發展也將人機交互的模式從“人適應機器”轉變為“機器服務于人”。LI等[33]指出人機協作的主要目標在于機器協助人而不是取代人,減少人在生產線上的重復工作,降低人體的工程學壓力和工作負荷,提高生產質量和效率,實現人機優勢互補。NAHAVANDI[34]強調工業5.0將會提高人機之間的主動性,以及互學習、互理解、互輔助融合能力,機器認知能力的增強使機器適應不斷變化的環境及任務,與人可以進行自然的深度交流、互學習、互推理,更好地協助于人、服務于人。

從行為、意圖、認知三個層次分析智能制造中人的中心地位已成為當前的研究重點,相關研究成果如表1所示[35-44]。利用動作捕捉等技術,采用生物力學、人機工程學,從行為層面對工人作業姿勢進行疲勞度分析;引入機器學習、計算機視覺、動態決策、神經網絡算法等先進技術,分析人的行為表征,推測、預判人的作業意圖;為人機交互過程構建人體認知負荷評估模型,形成有效的認知負荷均衡機制和優化方法,從認知層面形成自適應調節。這些都從不同領域闡述了智能制造中研究人的因素的重要性。

↓ 表1 智能制造中人的因素相關研究成果 Tab.1 Research achievements related to human factors in intelligent manufacturing

與此同時,更多學者將人因工程的研究引入智能制造系統,YANG等[45]針對智能制造監控系統開展了“人在回路”的相關人因研究,探索通過瞳孔變化預測腦力負荷,以提高監控系統的宜人性設計。王柏村等[46]將“面向智能制造的人因工程”定義為:基于對人、機器、技術和環境的深入研究,發現并利用人的自然行為方式、工作能力、作業限制等特點,通過對智能制造系統中相關信息與工具、任務和環境、人員安排等進行合理設計,以提高智能制造系統的效率、安全性、舒適性和有效性的工程技術。由此看來,在“以人為本”的模式下,智能制造系統中的人因研究尤為重要,但針對該領域的研究相對匱乏,因此如何讓智能系統的設計更符合人的使用習慣,有效縮小人機交互鴻溝,使人能及時掌握復雜系統的運行態勢并做出正確反應,已成為人與智能系統融合的重要研究領域。

2.2?/ 人因工程助力“人本智造”

人因工程(human factor engineering,HFE)是近年來隨著科技全面進步與工業化水平大幅度的提升而迅猛發展的一門綜合性交叉學科,它綜合運用生理學、心理學、人體測量學、生物力學、計算機科學、系統科學等多學科的研究方法和手段,致力于研究人、機器及所處工作環境之間的相互關系和影響,以提高系統性能并確保人的安全、健康和舒適[47-48]。

面對工業4.0的迅猛發展和工業5.0的到來,人因工程始終以提高生產效率為目標,深入解決復雜的人與自動化、智能化的安全高效交互的問題[49]。隨著制造業的進步與發展,人因工程的關注焦點也從傳統的降低疲勞、體力解放、效率提升,轉變到人的智能增強,同時也推動了制造業的進步,特別是提升了工業、計算機等領域的信息交互系統的適人性水平[50-51]。同樣,本文將人因工程研究及發展方向從行為、意圖、認知三個層面進行聚焦(圖5)。

圖5 人本智造中人因工程的研究聚焦層次 Fig.5 Human factor engineering research focus level

(1)行為層面。行為層面的研究通常對人根據系統狀態表達出的顯性行為進行分析,獲取人的作業姿勢、物理行為、習慣特征等數據,并借助人機工效分析方法分析人體的可視性與可達性,判斷人的生理極限和作業能力,優化作業流程與作業空間設計。

(2)意圖層面。意圖的研究聚焦為自然意圖的表達方式,基于人的眼動、手部動作、肢體運動等物理行為的特征屬性,通過多模態特征融合方法,明確操作人員的作業意圖、目的和期望,并根據具體作業意圖的多模態表達對系統做出優化和調整。

(3)認知層面。認知層面的研究主要集中在人隱性狀態的表征,例如通過采集操作人員的心電、腦電、皮膚電等多源生理數據,構建人的認知狀態模型和認知負荷量化指標等方法,開展對人的認知負荷、疲勞程度等的量化與評估。在操作人員都沒有意識到疲勞或異常狀態時,實現系統的主動感知與協調。

堅持以人為中心的理念、遵循系統工程思想和方法、直接面向設計和具體應用場景是人因工程的另一典型特征。當前,以人工智能、混合現實、云計算、大數據、物聯網等為代表的新技術與制造業加速融合,推動智能系統向更貼近人的智慧系統改變。影響深遠的科技革命和產業變革正在逐步興起,智能制造、智能生產單元、人機協同制造等新型生產方式不斷涌現,給人因工程的研究環境帶來了巨大的改變。人因工程的科學思想、理論方法、設計理念和技術應用將推進信息化與工業化的深度融合,推動智能裝備、可穿戴智能產品、虛擬信息顯示、增強現實、人機交互等技術快速發展,實現人與信息物理系統的有機結合,在不斷提升產品品質和制造業核心競爭力等方面發揮重要作用。

除此之外,中國工程院智能制造課題組的研究報告[52]指出:“智能制造系統是一個大概念,一個不斷演進的大系統,是新一代信息技術與先進制造技術的深度融合,貫穿于產品、制造、服務全生命周期的各個環節及相應系統的優化集成,不斷提升企業的產品質量、效益、服務水平,減少資源消耗,推動制造業創新、綠色、協調、開放、共享發展”,是我國制造業升級的發展方向[53],也與智能制造中的人的因素形成呼應?？紤]“以人為本”的智能制造,即從“人本智造”的四個維度出發,在設計之初就充分考慮用戶需求和人的因素,根據消費者或目標用戶群的定位,利用互聯網、虛擬現實、多視角共享等智能技術,使用戶直接參與設計、研發、測評等環節。針對生產環節的設計或工作人員,利用知識工程、機器學習、自然行為交互等研究成果,開展人機協同設計、人機協作裝配、以人為本的生產管理等研究,全面提升產品設計、制造和管理的水平。

因此,如何完成先進技術與人因工程在智能制造系統中的整合是下一步需要解決的問題,形成一套前后端貫通的完整解決方案,從分析人的作業姿勢到識別人的行為意圖、均衡人的認知負荷的一體化智能制造系統,充分考慮系統中人的因素,注重人的思維、情感和行為,關注不同操作人員的需求和意圖,融入人的多樣性和差異性,實現技術增強人而非取代人,縮小人機交互的執行鴻溝和評估鴻溝,真正推動“人本智造”理念的實施與落地。

3

人本智造的發展趨勢與研究重點

以人為本的智能制造從人的行為、意圖和認知三個層次,將人因工程整合到虛實融合、多模態人機交互等先進技術中,在原有的智能制造系統基礎上擴大人因工程特征,通過人的生物智能與機器智能、人類用戶認知體與機器認知體之間的協同合作,形成可持續發展的人機智能互補式交互,最大限度地發揮人機協同合作優勢和整體系統績效。

3.1?/ 虛實融合環境下的交互

當前,越來越多的虛擬現實技術在公共安全、工業互聯網、智慧城市、文化旅游等產業相關場景落地。國內外工業領域也在大幅開展虛實融合技術研究,通過虛實數據的融合實現虛實雙向動態連接,促進了信息系統與物理系統的融合發展,降低人在生產過程中的工作負荷。

增強現實技術(augmented reality, AR)作為將虛擬信息和真實世界融合的先進技術,在跟蹤注冊、可視化、多模態交互等技術領域都有大量研究,將計算機生成的虛擬信息添加到真實世界,實現兩者的互補和對真實世界的“增強”[54]。數字孿生模型作為典型的虛擬數字信息,將其疊加至制造業的真實物理環境是目前制造業實現虛實融合的一大研究重點。作為一個技術核心,跟蹤注冊的精度和準確度與虛實融合系統的最終效果密不可分。從當前真實空間場景中獲得實時數據,并根據觀察者的位置、角度、方向、視場等因素構建虛擬空間坐標系和真實空間坐標系的轉換關系,結合標記物、自然特征信息等,最終將三維模型、動畫、文本注釋等虛擬信息完美疊加至真實環境,從而提高裝配、運維等過程的操作效率。WANG等[55]基于AR協同環境、碰撞檢測、輔助評估工具等建立了AR裝配工藝方案的評估系統,輔助工人從多個視角有效評估和改進裝配過程(圖6)。面向某汽車制造企業線束卡接等手工裝配作業,WANG等[56]設計了基于AR的手部作業檢驗軟件,該軟件包括AR測試場景構建、手勢追蹤與驗證、虛擬模型操縱、碰撞檢測等4個模塊,可驗證操作人員手部的通過性和可達性,解決了當前基于CATIA的人機仿真模塊驗證方法存在的人手定義復雜度高、真實性差等問題。

圖6 增強現實裝配工藝方案評估系統[55] Fig.6 Augmented reality assembly process evaluation system[55]

面向“人本智造”理念,如何增強人與信息物理的交互,建立人的數字孿生體來反映人的真實狀態,從而實現虛擬信息、真實環境與數字人的智能融合顯得尤為重要。驗證人與信息物理系統在協作生產過程中的安全性也是亟待解決的問題之一[15,17]。

數字人建模仿真技術是驗證操作人員可達性,保障人機協作過程中的工人安全,建立虛實融合環境下智能制造系統可靠安全機制的主要手段之一[57]。目前的仿真軟件建模方法存在仿真工作量大、操作繁瑣、動作連貫性差、對人體行為建模精確度低等問題,無法對實際復雜產品的操作人因風險進行全面驗證,專家只能在仿真任務完成后再對整個操作過程進行分析,工作周期長、生產成本高。通過動作捕捉設備、眼動儀等設備和人因分析方法,實時采集人的行為、生理、心理等相關數據,建立人的數字孿生體,實時生成高保真數字人模型,反映人在虛實融合環境下的狀態,保證對作業人員行為的高精度建模,提高人因分析準確度,專家可以在人體數據輸出的同時進行動態分析作業,實時更改產品設計,不需要在產品生產后再次試驗調整設計,從而起到縮短產品生產周期的作用。研究人-信息-物理系統的感知機制是實現以人為本的智能制造的關鍵點。文獻[58-59]針對某人因分析方法存在的分析周期長、仿真建模工作量大、虛擬人動作精度低等問題,開展了面向工業車間座椅裝配、手工涂膠作業任務的人機功效分析,驗證并評估手工裝配過程的工人操作可達性及安全風險性,提出一種基于AR的汽車總裝體力疲勞綜合評估方法(圖7),借助AR技術搭建汽車總裝典型場景,實現虛實融合場景的可視化、產品分析師和設計師多人視角共享及協同在線操作;利用動作捕捉系統真實準確地反映人體運動姿態,實時捕捉人體運動學數據,完成體力疲勞度評估與分析。

圖7 基于增強現實和動作捕捉設備的人因分析系統[58-59] Fig.7 Human factor analysis system based on augmented reality and motion capture equipment[58-59]

人機結合、虛實融合是新一代智能制造系統的顯著特征,通過增強現實、虛擬現實的頭戴式設備幫助工作人員接入制造系統的數字孿生系統,從而“身臨其境”地全方位感知系統狀態;在裝配、運維過程中增強信息的智能呈現,以便于操作人員理解,降低操作負荷,減小人機交互執行鴻溝[60]。利用動作捕捉設備采集人體行為數據,實現動態人機工程的仿真驗證與分析,為實時感知系統狀態、完成動態調整提供了便捷,同時也滿足了智能制造柔性可變、快速響應的需求。隨著數字化信息技術與增強現實輔助技術的廣泛應用,研究虛擬數字信息與真實物理場景融合環境下的人與數字化信息交互的工業現場(圖8)已成為未來工業發展的新趨勢。

圖8 HCPS中的虛實融合技術 Fig.8 Virtual-reality fusion technology in HCPS

3.2?/ 多模態意圖識別

智能制造系統中,人機角色發生轉變,工作人員的活動范圍更加靈活多變,對系統的控制及作業意圖的表達方式也不再局限于命令行、圖形界面、鼠標和鍵盤等利用輔助設備進行的人機交互。自然用戶界面(natural user interface,NUI)[61]提倡用戶不需要學習,憑借感知器官與經驗來接收信息,利用自然行為表達作業意圖,降低了用戶的操作和學習成本,從而縮小人機交互的執行鴻溝。交互發生在三維的物理空間中時,智能制造系統現場任務及環境的動態變化會導致同樣的輸入代表不同的語義,因此需要考慮作業任務與環境的實時動態變化來準確識別操作人員的作業意圖。隨著增強現實、人工智能、機器視覺等新型技術的迅猛發展,以及交互環境的變化,傳統的交互方式不再滿足智能制造的發展需求,這使得新型人機交互模式逐漸涌現,依托以眼動、手勢、語音等多模態生理信號為核心的自然交互模式成為未來助力智能工廠人機協作能力提升的新方向。

現有較為成熟的交互方式有語音交互、手勢控制、觸覺交互、眨眼檢測及眼跟蹤技術等。在人類感知信息途徑中,通過視覺獲取對外信息的比例高達83%,大大超過其他感知覺。相對于手控、語音等方式,視覺交互縮短了中央加工與動作執行的反應時間,可實現多任務同步處理,且受環境影響較小。但眼動信號中的認知成分較少,無法判斷注視行為屬于無意識還是有意識即發生“米達斯接觸”問題,因此通常采用增加視覺反饋體系、反復定位確認與交互,以及外界信號觸發輔助等解決方法[62-63],但這都給眼部帶來了額外的負擔與勞累,加劇視疲勞的產生,造成用戶體驗下降。如何在有效解決“米達斯接觸”問題的同時避免疲勞是目前視覺交互技術研究的重點。多模態交互方式充分利用各模態間的優勢互補,融合多種模式的綜合語義輔助視覺通道,精準定位目標、準確識別意圖,對縮短定位時間、減緩視覺疲勞有著重要作用。相比于基于單一模態數據的交互方式,基于多模態融合交互方式的空間覆蓋率、時間覆蓋率和決策準確度更高,可以有效進行信息互補,多方面描述數據對象特性,成為復雜作業環境下實現人機交互意圖感知的有效途徑[64-65]。

虛實環境與多模態人機交互技術的結合為實現智能化生產車間的智能人機融合提供了技術路徑。微軟發布的HoloLen2增強現實頭戴式設備支持手勢、語音、眼動等交互方式,通過示教系統可用于復雜產品生產車間,輔助員工完成裝配培訓,并看使用Dynamic 365 Layout驗證生產布局[66]。目前,針對人與虛擬信息的自然交互方式的研究還不成熟,在利用增強現實設備完成操作的過程中,出現了許多人因問題。由于用戶體驗的差異性和多樣性,以及用戶認知能力的不同,當前的技術及相關產品無法以人們所習慣的方式與人們進行信息交流、提供主動服務,不能滿足人機交互系統個性化、柔性化的要求。為提升用戶體驗,將多模態自然交互與用戶畫像相結合,深度挖掘用戶的需求和意圖,真正實現用戶行為的個性化識別和理解,縮小人機交互的評估鴻溝,促進“以人為本”的智能制造發展。FANG等[67]面向制造業裝配場景,將增強現實作為媒介連接人和機器人,實現人機的多模態交互,并基于該系統,提出一種增強現實環境下的個性化人機協作裝配意圖識別方法(圖9),針對用戶在典型人機協作裝配過程的物理行為習慣及特征,以單個用戶為中心采集多維度、強相關的數據,構建用戶畫像模型,構建基于用戶行為習慣的多模態特征融合方法模型,并對增強現實環境下的習慣手勢、語音和視覺等物理行為進行識別,利用基于改進HMM和貝葉斯融合的決策層融合方法,實現面向不同用戶的個性化意圖識別,為用戶提供更精準的個性化服務,有效改善人機協作過程中的用戶體驗。

3.3?/ 科學的認知量化方法

面對以智能制造為核心的產業和科技變革,制造企業應積極采取行動,推動轉型升級,提高自動化、數字化水平?，F階段,我國制造業仍存在自動化水平不高、手工依賴程度高的問題,工人面臨的操作任務愈發繁重。復雜的機電系統和長時間的人機協同作業容易對操作人員產生巨大的認知負荷。因此,形成對認知負荷的準確量化和有效均衡是保障人機協同安全穩定的關鍵。

操作人員面對復雜系統時的主要任務是“信息獲取-判斷-決策-響應”過程,屬于掌控系統運行狀態的腦力活動,因此人機協同作業時的工作負荷主要表現為認知負荷。徐小萍等[68]提出了基于認知的虛擬現實人機交互系統框架,并開展了交互通道與認知負荷的影響機制研究。認知負荷反映同時施加在工作記憶中所有智力活動的數量,任何認知加工活動均需消耗認知資源。不同交互通道帶來的認知負荷不同,如果在同一時間多任務并行處理產生的認知負荷超過個體所擁有的認知資源總量,將導致認知負荷超載,直接影響操作者的任務績效;另一方面,過低的任務需求通常會造成操作者參與不足,即認知負荷欠載,容易出現疲勞與自滿情緒,此時任務需求的突然增加、突發意外等情況會使操作者迅速進入高度緊張狀態,影響操作者做出正確決策[69],即操作者表現與腦力負荷及大腦認知資源供需的倒U型關系模型[18]。因此,控制認知負荷的均衡可以有效提高人機協作效率。劉文等[70]分析了指揮控制系統界面認知負荷的來源及類型特點,形成了面向指揮控制系統界面認知負荷的均衡策略,主要包括圖像復雜度控制、用戶需求信息合理呈現、信息編碼與視覺搜尋匹配等?？娤嗔值萚71]提出一種動態調整用戶認知負荷水平的智能空間增強現實系統,根據用戶認知狀態動態調整空間增強現實系統的增強信息,使用戶處于最佳工作狀態,提高工作效率,保證工作質量。因此,從面向用戶認知的生理信息融合角度出發,構建認知負荷定量表達模型是完善人機協同系統、提高態勢感知、實現正確決策的重點。

人機協同認知負荷評估與均衡問題可從“科學評價、準確量化、有效均衡”三方面開展研究。通過生理參數的動態表征揭示操作人員認知負荷的演變機理,是神經生理學和認知心理學領域具有挑戰性的科學難題。在多通道交互的情況下,生理指標的變化易受交互通道的選擇影響。同時,認知負荷水平的不確定性、抽象性、經驗依賴性、個體差異性、學習遷移效應等特征導致以生理參數量化描述認知負荷水平的變化存在技術難度。腦電、心電、肌肉電等多源生理信號的有效融合極大依賴操作任務與認知數據,復雜作業任務產生大量認知活動及決策行為數據,同時伴隨認知行為時序關聯、認知負荷的隱式干擾、認知狀態和變化順序等多層級耦合關系。由于生理參數敏感度不同、難以同步、存在競爭與互補效應等問題,要從中提取不同生理信號與認知行為相對關系,結構化學習信號特征,融合不同維度信號來反映增強現實環境下多通道交互過程中的認知負荷動態變化面臨較大難度。人機協同運維過程中,“人在回路”的行為決策是在人內部認知空間與外部環境元素的共同作用下產生的,是環境信息要素與認知負荷的樞紐。揭示人機協同過程中的態勢元素、個體認知負荷、行為決策的關聯關系,是對認知負荷有效均衡的關鍵,對降低認知任務的復雜性及難度、提高人機協同的作業績效至關重要。

因此,明確主體多生理指標的認知負荷誘發策略與演變機理并對其進行科學量化表達,是揭示認知負荷水平變化的關鍵;建立相應的人機協同認知負荷均衡機制,從而降低認知任務的復雜性,提高人機系統的作業績效。這對在新環境、新技術、新模式下開展人因工程相關研究,縮小人機交互鴻溝,推動人本智造的發展有著實際性的作用。

4

發展與建議

4.1?/ 學科發展

智能制造作為典型的系統工程,強調數字化智能設備、機器人、物聯網、人工智能等關鍵技術在制造系統中的集成,涉及機械工程、控制科學與工程、計算機科學與技術等多個學科。面向世界范圍的科技革命和產業變革,針對中國制造的發展需求,順應“兩化融合”國家戰略,國內多所高校相繼設立了智能制造工程等“新工科”專業。與此同時,國家自然科學基金委在2020年成立了交叉科學部,明確了強化學科交叉和尋求新的科研范式是未來科技快速發展的必由之路。人因工程作為典型的交叉學科,被列為交叉學部的重點研究方向之一。

在“新工科”專業與交叉學部的建設支持下,加強人才儲備和梯隊建設,注重對智能制造專業人才進行人因工程等相關知識的教育。以人因工程的基礎理論與研究方法充分武裝掌握現代化機械、電子、智能生產與管理的專業知識和技能的智能制造專業人才,把人因融入系統設計、研制與運維等不同周期,解決智能制造發展過程中各個相關領域出現的典型人因問題。積極開展跨學科探索性研究,推動機械工程與認知科學、信息科學、心理學等相關學科的交叉融合,促進傳統學科與新型學科的交叉融合,為面向智能制造的人機交互與人因工程持續發展與深度應用提供強大的科學儲備。

4.2?/ 研究方向

面對智能制造人機交互與人因工程的發展需求,從研究現狀看,在行為、意圖、認知三個層面解決HCPS的人與信息系統、物理系統之間的鴻溝問題,是未來智能制造中的人因工程需要著重探索的研究方向,這包括人與智能設備的交互、人-信息-物理三元虛實融合感知、量化的科學標準等方面。

(1)開展人與智能設備的交互友好性研究,重視智能設備在設計及信息呈現、行為反饋上的宜人性表達,實現智能設備與人的良性互動,解決智能制造系統中大量的智能設備給人的操作和認知帶來的不可避免的壓力問題,保障人對系統的準確態勢感知。

(2)實際生產場景、操作人員行為及產品虛擬模型之間的虛實融合感知機制是未來需要解決的關鍵科學問題。由于虛擬產品模型、實際生產現場與真實操作人員的物理屬性不同,導致虛擬世界與真實世界融合困難。此外,目前的增強現實技術僅支持虛擬信息的顯示與疊加,缺少實際的交互感知。因此,對虛擬世界與真實世界的智能標定與個性化交互方法展開研究:①研究產品的智能推送,建立輔助維修資源庫,實現從IETM的交互式維修手冊到AR手冊的智能化生成;②融合用戶畫像,通過意圖識別,構建符合操作人員個性化特征的智能推送方法,將人的需求作為信息推送的驅動力,滿足操作人員的屬性多樣性及個性化需求;③分析人在使用AR系統時的認知負荷產生原因,結合腦電、眼動、手勢等多模態交互方式,提取人的潛意識形態,智能化為用戶提供最舒適便捷的操作環境及方式,有效降低疲勞度和操作負荷,研究虛實信息的柔性化融合機理,從而實現人-信息-物理三元虛實融合。

(3)建立完善的人因工程研究規范與測評技術,形成量化的科學標準,將定性問題轉化為可參考的定量指標,形成主客觀結合、定性定量綜合集成的人因評價標準,以解決人作為人因工程的主要研究對象,在面對不同作業需求、新型系統和復雜問題時產生的心理變化、認知思考和決策執行能力存在多樣性及差異性的問題。

表2列舉的國際期刊中,多數已發布面向智能制造或工業4.0的人因工程特刊,以鼓勵相關研究。

↓ 表2 國際關注智能制造及人因工程領域期刊 Tab.2 The list of journals in related domains

5

結論

本文立足于智能制造發展過程中存在的實際問題，基于人-信息-物理系統理論與技術體系，討論了人機協同的必要性，以及人在智能制造系統中發揮的重要作用,梳理了人因工程在促進人本智造中的相關研究重點，針對學科發展與主要研究方向,提出了智能制造系統中人因工程的發展與建議，以期為我國新一代智能制造系統的發展提供建議與參考。

編輯：黃飛