眼機交互界面(Eye-machine interface, EMI)作為沉浸式人機交互的重要一環,已被應用于VR/AR、自動駕駛、腦機接口、生物醫學等領域。但現有EMI傳感硬件正在尺寸、重量、功耗(SWaP)及生物兼容性上面臨瓶頸,而新型功能材料正通過柔性透明設計、多模態傳感和集成策略,推動傳感器向小型化、低功耗和高性能發展。鑒于此,北京理工大學沈國震、王卓然團隊基于現有研究基礎,面向眼動追蹤、生物醫療 、視覺恢復等EMI應用,聚焦傳感器件原理、新型材料、研究前沿及其未來發展方向,開展了深入討論(圖1),
圖1. 用于眼機交互界面的可穿戴與仿生傳感器前沿硬件技術概述
1. 眼機交互界面技術
眼動追蹤可用于混合現實、人機交互、心理學研究與醫療輔助、教育培訓等多個領域,在常見的眼動追蹤方法中,眼電圖(EOG)測量帶負電的視網膜和帶正電的角膜間的電位差變化,鞏膜搜索線圈(SSC)獲取眼部線圈在磁場中移動時產生的電流,視頻眼動分析(VOG)基于圖像傳感器和算法處理瞳孔或角膜反射的圖像,眼動追蹤硬件通過電、磁、光等不同信號實現了眼睛位置的確定。
眼部生理信息檢測可以反饋人體的健康狀況,隱形眼鏡形式的傳感器有助于優化日常健康監測體驗,視網膜電圖(ERG)測量角膜對于光刺激的電位變化,眼內壓(IOP)通過微型應變傳感器測量眼內壓對眼球曲率帶來的變化,熱響應材料、葡萄糖反應材料和pH敏感材料則通過電化學或光學方法,分別反映了眼部溫度(OST)、葡萄糖水平和pH值,實現了青光眼、干眼癥、糖尿病等多種疾病的檢測。
視網膜假體及仿生眼則有望幫助眼部疾病更嚴重的患者重獲光明,視網膜修復術通過對視覺產生過程中的不同部位進行電刺激,以生成視覺感知,目前有表層植入、下層植入、超脈絡膜植入三種方法,各方法在分辨率和植入難易程度上各有優劣;而仿生眼則是直接模仿生物眼睛的形態和功能,以實現圖像從視覺傳感到信息處理的全過程。
圖2. 視網膜假體與仿生眼原理與結構
2.傳感材料前沿
材料是EMI傳感硬件的核心,決定了傳感器的電學、光學和化學特性,與人體之間的無縫集成還對材料的柔性和透明性提出了要求。硅等常用于半導體的無機材料是剛性的,在直接減薄方法外,還可以通過設計預應變的波浪、構造橋-島結構、采取剪紙或折紙工藝使材料以獲得原本不具有的可拉伸性;有機材料則大多天然柔性,常用的有并五苯和C60等小分子材料,以及PEDOT:PSS和P3HT等高分子聚合物,通過圖案印刷工藝和先進封裝實現了廣泛應用。
低維材料通過尺寸減小可實現不規則表面貼合與柔性化,同時材料尺寸的減小提供了更多的活性位點,增強了光學與電學性能,使其對刺激的響應更加迅速;膠體量子點(CQD)具有強的量子和介電約束,因此電學和光學性質可調,便捷且兼容傳統工藝的加工方法使得其可以與其他材料混合以增強性能,同時能有效與CMOS單片集成,從而實現具有增強光電功能的可穿戴應用。
3. 研究前沿
眼動追蹤傳感器。在光電眼動追蹤傳感器中,基于紅外的VOG是主流技術,但目前的商業產品仍需在框架上安裝額外儀器,石墨烯和CQD等以紅外敏感、環保、透明度高、ROIC兼容等特點成為有競爭力的替代材料;也可利用稀疏光電探測器替代圖像傳感器,以犧牲精度的代價獲取了低功耗、系統簡化和隱私保護;還可以通過超表面的光學設計實現光場解耦,以同時實現眼動追蹤和真實世界觀察的功能,助力眼動追蹤系統簡化。
EOG相比VOG具有不受睫毛或眼瞼遮擋影響的優勢,傳統的電極材料接觸阻抗高、佩戴體驗差,因而碳納米管/PDMS、銀納米顆粒/PI等納米復合材料和水凝膠被用來構建可穿戴電極,以獲得更好的皮膚共性。還有研究通過機械傳感進行眼動追蹤,如使用GaN、ZnO壓電薄膜構建壓電納米發電機,獲取眼球運動時的壓電電勢;通過Ag納米線與眼睛的非接觸靜電感應制作摩擦納米發電機,實現自供能傳感。各種技術方法在設備形式、傳感機制和技術狀態上各有優劣,但都在朝著優化尺寸、功耗、性能的方向發展(圖3)。
圖3. 可穿戴眼動追蹤研究進展
智能隱形眼鏡式傳感器。診斷治療智能隱形眼鏡能夠實現連續、長期的眼部健康監測,對基于EMI的生物醫學和醫療保健應用至關重要(圖4)。傳統ERG傳感器使用了剛性電極帶來了不適感,而墨水直寫的石墨烯電極實現了透明、透氧、可濕潤、生物相容等特性;通過抑制葡萄糖氧化酶和過氧化氫酶,葡萄糖的氧化過程將在晶體管中產生電流,以助力糖尿病無感監測。
面對放大讀出等附加電路的障礙,IOP傳感器可利用LC電路將機械形變轉換為諧振頻率偏移,或將應變轉化為微流體位移,使用手機進行光學識別;淚液溫度可使用熱致變色的熒烷染料,pH值通過溴麝香草酚藍和甲基紅等pH敏感材料,反饋在外在顏色的變化,通過攝像頭進行比色識別。在醫療應用平臺中,藥物輸送也不可或缺,通過無線功率傳輸電路驅動抗青光眼藥物角膜給藥、利用pH變化時包裹藥物的聚合物鏈的斷裂實現按需釋放藥物以避免過度用藥帶來的副作用。
圖4. 面向健康監測的智能隱形眼鏡式傳感器研究進展
視覺恢復與仿生眼。視網膜假體中,自供電集成光伏器件已成為主要選擇,其可以提供足夠的刺激電壓以引起神經反應,PEDOT:PSS,P3HT,PCBM等柔性材料可作為光伏假體的下表面以優化佩戴體驗;還有部分系統通過外部相機捕獲視覺信息,無線傳輸至植入的電極陣列,這些方案對神經編碼匹配、刺激電極的生物相容性及高密度刺激提出了需求。
另一方面,受生物模擬生物視覺系統的形態和功能啟發,前沿研究直接采用半球形的光電二極管構建仿生眼結構。例如,在半球形多孔陽極氧化鋁中填充生長鈣鈦礦納米線陣列,更精確的模仿了視網膜細胞的形態。但僅僅是人眼形狀的傳感器距離仿生眼的設想還很遙遠,其缺乏信息傳輸及解碼處理的步驟,需要腦機接口技術的參與。
近年來,在生物啟發下,研究前沿實現了多種具有特殊功能的仿生傳感器。例如,通過模擬復眼結構實現了寬視場角,低像差和近乎無限的景深;使用狹縫瞳孔和金屬反射層以模擬貓眼結構,在過濾冗余信息的同時易于檢測不同照明下的遮擋物體;受鳥類眼睛的中央凹啟發,實現了多光譜成像能力;利用熱敏聚合物納米線陣列實現室溫中長波紅外成像,獲得了與蛇類似的紅外感知能力。
圖4. 植入式視網膜假體傳感器研究進展
4. 總結與展望
眼機交互界面是智能物聯網(AIoT)時代的關鍵技術,在可穿戴與仿生傳感領域取得了關鍵進展,帶動了相關產業與研究前沿的高速發展。下一代的傳感器硬件旨在突破SWaP3優化的極限,構建高效能、多功能、智能化的系統應用架構。本文從三方面分析闡述了實現新一代EMI傳感器的技術路徑:
柔性透明形態設計。非平面的柔性設計可以提供更廣的視場角和更低的光學畸變,簡化EMI系統并提高性能,目前通過不規則基板噴墨打印、平面制造后切割折疊、電子紡織品等途徑實現;透明度是EMI應用的另一個關鍵因素,能幫助提升設備的普適性和美觀性,達成該指標的主要策略有半導體減薄、微孔陣列透光窗口和光譜選擇性設計。
傳感計算一體化架構。傳統馮諾依曼架構需要傳輸大量無關數據,導致了延遲、功耗高和低效率,神經形態傳感器通過模擬生物神經系統,可以在傳感器級別進行預處理,簡化系統架構并提高能效,如超線性光響應可增強強光敏感,抑制背景噪聲;短期光電流累計器件能在單幀中編碼空間和時間信息;電導可調器件能實現低水平數據過濾,僅記錄長時間的強刺激,還具有執行神經網絡等更高級功能的潛力。
神經形態通信方法。EMI的最終愿景是將傳感硬件與大腦間實現無縫通信,特別是假肢和仿生設備。不同于基于CMOS的機器視覺技術,在生物視覺系統中,光感受器接收光刺激并向突觸釋放神經遞質,如果神經節神經元接收到的神經遞質信號足夠大,就會觸發類似尖峰的動作電位,通過模仿生物神經系統的動作電位,可以實現更高效的通信。不斷涌現的器件物理學成果正在為小型化、低功耗、高性能視網膜修復術及腦接口仿生眼提供重要途徑。
審核編輯 黃宇
-
傳感器
+關注
關注
2564文章
52793瀏覽量
765408 -
智能傳感
+關注
關注
1文章
115瀏覽量
16925
發布評論請先 登錄
北京理工大學采購南京大展的高溫差示掃描量熱儀

中軟國際助力北京理工大學珠海校區展開科研創新
天合光能與新加坡南洋理工大學簽約技術合作
北京理工大學在量子顯微成像方面取得重要進展,實現量子全息顯微

上汽集團與北京理工大學達成戰略合作
當北京理工大學方程式車隊BITFSD遇上瑞蘇盈科FPGA核心板

都靈理工大學校長一行再訪SPEA

從新加坡到深圳:南洋理工大學(NTU)與VoiceAI的深度對話

OPPO與香港理工大學深化合作,升級聯合創新研究中心
玻色量子與北京理工大學達成量子云計算合作
傳音控股旗下TECNO與南洋理工大學ACRC達成戰略合作
安徽理工大學校長袁亮院士走訪調研達實智能
北京理工大學第九屆“迪文優秀教師獎”評審會順利召開

華東理工大學選購我司差示掃描量熱儀和導熱系數測試儀

同星智能贊助北京理工大學路特斯無人駕駛方程式賽車隊(BITFSD)

評論