關(guān)聯(lián)回顧

（原創(chuàng)）全圖說機器人的發(fā)展歷史

（原創(chuàng)）全圖說機器學(xué)習(xí)技術(shù)的發(fā)展歷史

（原創(chuàng)）全圖說機器人倫理的發(fā)展歷史

（原創(chuàng)）波士頓動力的Atlas最近又亮瞎了雙眼

本文翻譯自《IEEE Spectrum》2023年1月29日的文章《Robotics want to give you a third arm——Unused bandwidth in neurons can be tapped to control extra limbs》

達(dá)里奧·法里納（Dario Farina）

IEEE 院士，擔(dān)任神經(jīng)康復(fù)工程主席，并且是倫敦帝國理工學(xué)院生物工程系的教授。他的研究重點是生物信號處理和建模、運動的神經(jīng)控制和神經(jīng)康復(fù)技術(shù)。

艾蒂安·伯德（Etienne Burdet）

倫敦帝國理工學(xué)院人類機器人學(xué)教授。他使用神經(jīng)科學(xué)和機器人學(xué)的綜合方法來研究人類感覺運動控制，并為日常生活技術(shù)和神經(jīng)康復(fù)設(shè)計高效的界面。

卡斯滕·梅林（Carsten Mehring）

德國弗萊堡大學(xué)的神經(jīng)生物學(xué)和神經(jīng)技術(shù)教授。他的研究結(jié)合了實驗和理論方法來研究電機控制和腦機接口。

海梅·伊巴內(nèi)斯（Jaime Ibá?ez）

西班牙薩拉戈薩大學(xué)的拉蒙·卡哈爾高級研究員。他還在倫敦帝國理工學(xué)院擔(dān)任名譽研究員。的研究重點是研究的大腦-脊髓雙向傳輸?shù)倪\動神經(jīng)活動。

【太長不看】(TLDR) ：本文介紹了一種通過非侵入式高密度肌電圖EMG對神經(jīng)信號的解碼技術(shù)，利用神經(jīng)系統(tǒng)中神經(jīng)傳導(dǎo)額外的高頻 β 波段，控制人體增強設(shè)備（第三只手）的方案。實驗者可以用這種方式通過大腦傳遞給附著在脛骨前肌的EMG系統(tǒng)，進而控制屏幕上的鼠標(biāo)移動到指定區(qū)域。這種技術(shù)讓第三只手可以在不妨礙其他肢體運動的前提下更加自然地運動。如果繼續(xù)提升此技術(shù)的精度度，人體增強機械手臂可能會出現(xiàn)廣闊的應(yīng)用前景。額外的機械肢體

如果給你第三只手，你想用來干什么呢？想象一下：一位外科醫(yī)生正在進行一項精細(xì)的手術(shù)，需要她的專業(yè)知識和穩(wěn)定的雙手。當(dāng)她的兩只手正在進行手術(shù)時，附在她身上的第三只機械臂起到輔助的作用。或者想象一位建筑工人，他需要焊接一個沉重的橫梁，但是另外一只手的力量不夠撐住那根橫梁，需要額外的機械臂的輔助。再大膽想象一下，佩戴一個可以讓你能同時處理多個物體的外骨骼，比如《蜘蛛俠》電影里的章魚博士。或者想一想作曲家可以為有第三/第四只手彈奏的鋼琴家寫的曲子。

這些場景可能看起來很像科幻小說，但機器人學(xué)和神經(jīng)科學(xué)的最新進展，已經(jīng)可以使用當(dāng)前的技術(shù)來給人類配備額外的機器人肢體。我們在倫敦帝國理工學(xué)院和德國弗萊堡大學(xué)的研究小組與歐洲項目NIMA（編者注：用于運動增強的非侵入式界面Non-invasive Interface for Movement Augmentation的縮寫）的合作伙伴一起，正在努力弄清楚這種運動增強如何在實踐中實現(xiàn)以增強人類的運動能力。當(dāng)前的主要問題涉及神經(jīng)科學(xué)和神經(jīng)技術(shù)：人腦是否能夠像控制自己肢體一樣有效地且自然地控制其他額外配備的身體部位？如果是這樣，什么的神經(jīng)信號可以用于這種控制？

我們認(rèn)為，額外的機器人肢體完全可以成為一種新的人類增強形式，可以提高人類執(zhí)行任務(wù)的能力，并擴展人類做一些無法用自然人體承擔(dān)的任務(wù)和執(zhí)行的動作。如果人類可以輕松地添加和控制第三條手臂、第三條腿或更多的手指，那么人類同樣可以想到五花八門的超出本文提到的應(yīng)用場景，做出嘆為觀止的動作，完成我們之前無法想象的任務(wù)。

人類增強的幾個層次編者注：一位醫(yī)生正在操控一臺“達(dá)芬奇”機器人手術(shù)系統(tǒng)。

近幾十年來，機器人肢體取得了長足的進步，其中一些已經(jīng)被人們用來增強自身的能力。大多數(shù)是通過操縱桿或其他手持控器操作的。例如，生產(chǎn)線上的工人就是這樣使用機械肢體來固定和操縱產(chǎn)品組件的。同樣，執(zhí)行機器人手術(shù)的外科醫(yī)生坐在患者對面的控制臺前。雖然手術(shù)機器人可能有四只手臂，末端裝有不同的工具，但外科醫(yī)生的雙手一次只能控制其中的兩只機械臂。我們能否賦予這些外科醫(yī)生同時控制手術(shù)機器人四只手臂的能力呢？

截肢或癱瘓的人也可以使用機器人肢體。這包括坐在電動輪椅上的人用輪椅上的操縱桿控制機械臂，以及那些失去肢體的人通過剩余肌肉的動作控制假肢。但真正的神經(jīng)控制假肢目前仍十分罕見。

編者注：馬修·內(nèi)格爾（ Matthew Nagle）是第一個使用腦機接口來恢復(fù)因癱瘓而喪失的功能的人。他是C3四肢癱瘓者，被刺傷后頸部以下癱瘓。2005年，醫(yī)生將一個96電極BrainGate被放置在他的大腦表面，通過運動皮層區(qū)域控制電腦上的光標(biāo)移動。

最先體驗?zāi)X控假肢的人是患有四肢癱瘓的病患，他們往往從頸部以下都癱瘓了。其中一些癱瘓人士大膽地自愿參加大腦植入物的臨床試驗，使他們能夠僅通過意念來控制機械肢體，發(fā)出心理指令，使機械臂將飲料舉到他們的唇邊，或幫助他們完成日常生活中的其他簡單任務(wù)。這些系統(tǒng)屬于腦機接口 (BMI) 的范疇。也有志愿者使用 BMI 技術(shù)來控制計算機屏幕上的光標(biāo)，使他們能夠鍵入消息、瀏覽網(wǎng)頁等等。但這些 BMI 系統(tǒng)中的大多數(shù)都需要進行腦部開顱手術(shù)才能植入神經(jīng)芯片或者傳感器，并且往往需要安裝從頭骨突出的硬件，因此這種方案目前還僅適合在實驗室中使用。

編者注：電影《明日邊緣》中，湯姆克魯斯著裝動力外骨骼的戰(zhàn)斗服，是人體增強第一個層次的應(yīng)用場景。動力外骨骼在多部好萊塢電影中出現(xiàn)，現(xiàn)實中也是被DARPA支持的一個項目計劃。

人體的增強可以被認(rèn)為具有三個層次。第一級增加了現(xiàn)有的特征，例如，動力外骨骼可以 賦予佩戴者超強的力量。第二層賦予人新的自由度，例如移動第三只手臂或第六根手指的能力，但要付出代價——例如，如果額外的附件由腳踏板控制，則用戶會犧牲腳的正常活動性來操作控制系統(tǒng)。第三級增強技術(shù)是技術(shù)上最不成熟的，它為用戶提供了額外的自由度，而不會剝奪任何其他身體部位的活動能力。這樣的系統(tǒng)將允許人們通過利用一些未使用的神經(jīng)信號來控制機器人肢體，仿佛這些機器人肢體真的長在人體身上，和其他肢體能夠靈活地配合。這就是我們本次研究探索的方向。

破譯來自肌肉的電信號

人體增強第三個層次也許可以通過侵入性 BMI 植入物來實現(xiàn)，但腦部手術(shù)的代價很高，也存在巨大的風(fēng)險，如果讓這個層次的人體增強得到更為廣泛的日常使用，需要一種非侵入性的方式來從顱骨外部獲取大腦指令。

對于許多研究小組來說，這意味著依賴久經(jīng)考驗的腦電圖(編者注：electroencephalogram，縮寫為EEG) 技術(shù)，該技術(shù)使用頭皮電極來獲取大腦信號。我們的團隊正在研究這種方法，但我們也在探索另一種方法：使用肌肉產(chǎn)生的肌電圖(編者注：Electromyography，縮寫為EMG) 信號。我們花了十多年時間研究皮膚表面的 EMG 電極如何檢測來自肌肉的電信號，然后我們可以解碼這些電信號以揭示脊髓神經(jīng)元發(fā)送的命令。

電信號是神經(jīng)系統(tǒng)的語言。在整個大腦和周圍神經(jīng)中，當(dāng)特定電壓（幾十毫伏）在細(xì)胞內(nèi)積聚并導(dǎo)致動作電位沿其軸突傳播，在與其他神經(jīng)元的連接處或突觸處釋放神經(jīng)遞質(zhì)時，神經(jīng)元會“放電” ，并可能觸發(fā)連接的神經(jīng)元依次放電。當(dāng)這種電脈沖由脊髓中的運動神經(jīng)元產(chǎn)生時，它們沿著軸突行進，一直到達(dá)目標(biāo)肌肉，在那里它們穿過特殊的突觸到達(dá)單個肌肉纖維并引起肌肉收縮。我們可以記錄并解碼這些包含用戶意圖的電信號，并將它們用于各種控制目的。

神經(jīng)元信號是如何被解碼的呢？參見上圖，訓(xùn)練模塊 [橙色] 獲取由電極陣列 [左] 讀取的初始批次 EMG 信號，確定如何提取單個神經(jīng)元的信號，并將該過程在數(shù)學(xué)上總結(jié)為分離矩陣和其他參數(shù)。借助這些工具，實時解碼模塊 [綠色] 可以從持續(xù)不斷的 EMG 信號流中有效地提取單個神經(jīng)元的尖峰序列 [右]。

然而，根據(jù)皮膚表面 EMG 讀取的內(nèi)容來破譯單個神經(jīng)信號并不是一項簡單的任務(wù)。典型的肌肉運動會接收來自成百上千個脊髓神經(jīng)元的信號。此外，每個軸突在肌肉處分支，并可能與分布在整個肌肉中的一百個或更多單獨的肌肉纖維相連。皮膚表面 EMG 電極采集到的信號包含這些復(fù)雜的雜音脈沖。

二十年前的一項發(fā)現(xiàn)給非侵入性神經(jīng)接口帶來了技術(shù)突破。這種技術(shù)可以通過高密度 EMG 采樣方式破解神經(jīng)元信號。方法是將數(shù)十到數(shù)百個電極固定在皮膚上，以檢測到從脊柱中單個運動神經(jīng)元發(fā)送出來的指令信號。而在這項發(fā)現(xiàn)之前，獲取這種信息需要通過侵入式肌肉或神經(jīng)電極才行。2017 年，我們與截肢者合作，展示了這種使用高密度 EMG 的方法有可能用于改善對假肢的控制。我們將高密度皮膚電極放在多個位置上以提供良好的采樣，以達(dá)到識別和解碼參與運動的絕大部分脊髓運動神經(jīng)元的信號活動。而現(xiàn)在，我們已經(jīng)做到可以實時進行采樣和解碼，這意味著基于脊髓信號的無創(chuàng) BMI 系統(tǒng)開發(fā)將成為現(xiàn)實。

系統(tǒng)當(dāng)前版本由兩部分組成：訓(xùn)練模塊和實時解碼模塊。首先，將高密度EMG 電極網(wǎng)格（編者注：High Definition electromyography，縮寫為HD-sEMG）貼在皮膚上，用戶進行輕微的肌肉收縮，然后我們將記錄的 EMG 信號輸入訓(xùn)練模塊。該模塊執(zhí)行識別構(gòu)成 EMG 信號的單個運動神經(jīng)元脈沖（也稱為尖峰脈沖）的艱巨任務(wù)。該模塊分析 EMG 信號和推斷的神經(jīng)尖峰信號之間的關(guān)系，并將其總結(jié)為一組參數(shù)，然后將這些參數(shù)導(dǎo)入到數(shù)學(xué)公式中，將 EMG 信號轉(zhuǎn)化為來自單個神經(jīng)元的尖峰信號序列。

有了這些參數(shù)，解碼模塊就可以獲取新的 EMG 信號并實時提取單個運動神經(jīng)元的活動。訓(xùn)練模塊需要大量計算，這種計算太慢的話，就沒有辦法執(zhí)行實時控制，但每次將 EMG 電極網(wǎng)格固定在用戶身上時，通常只需運行一次。相比之下，解碼算法非常高效，延遲很低，只有幾毫秒，這意味著完全可以支持獨立的可穿戴 BMI 系統(tǒng)。通過將其結(jié)果與插入用戶肌肉的侵入性 EMG 電極同時獲得的信號進行比較，驗證了非侵入EMG系統(tǒng)的準(zhǔn)確性。

利用神經(jīng)信號中的額外帶寬

開發(fā)這種從脊髓運動神經(jīng)元中提取信號的實時方法是我們目前控制額外機器人肢體工作的關(guān)鍵。在研究這些神經(jīng)信號時，我們注意到它們實際上具有額外的帶寬。信號的低頻部分（低于約 7 赫茲）被轉(zhuǎn)換為肌肉力量，但信號也有較高頻率的成分，例如 13 至 30 赫茲的 β 波段，這些成分太高而無法控制肌肉，似乎也沒有被使用。我們不知道為什么脊髓神經(jīng)元會發(fā)送這些高頻率信號。或許，頻率冗余可能是一種為防范新的條件變化的緩沖策略。不管是什么原因，人類進化出了一套神經(jīng)系統(tǒng)，從脊髓發(fā)出的信號要比控制肌肉所需的信息豐富得多。

這一發(fā)現(xiàn)讓我們開始思考是否可以用額外頻率來做點兒什么。特別是，我們想知道是否可以獲取這些無關(guān)的神經(jīng)信息并用它來控制機器人肢體。但我們不知道人們是否能夠自主控制這部分信號，與他們用來控制肌肉的信號分開。為了找到答案，我們設(shè)計了一個實驗。

在上圖我們的第一個概念驗證實驗中，志愿者利用未使用的神經(jīng)帶寬來控制其面前屏幕上光標(biāo)的運動。神經(jīng)信號從她的大腦和脊髓發(fā)出，通過脊髓神經(jīng)元到達(dá)脛骨前肌，在那里它們被她腿上的肌電圖電極陣列讀取并實時破譯。到達(dá)肌肉的信號包括控制肌肉收縮的低頻分量 [藍(lán)色]、較高頻率（無已知生物學(xué)用途的 β 波段 [黃色]）和噪聲 [灰色]。

實驗環(huán)境搭建很簡單，但所涉及的神經(jīng)機制和算法很復(fù)雜。每個志愿者都坐在屏幕前，我們在他們的腿上放置了一個 EMG 系統(tǒng)，在一個 4 x 10 厘米的貼片中有 64 個電極貼在脛骨前肌上方的皮膚上，在收縮時使腳向上彎曲。脛骨一直是我們實驗的主力軍：它占據(jù)了靠近皮膚的大面積區(qū)域，并且它的肌纖維沿著腿部排列，這使得它非常適合解碼支配它的脊髓運動神經(jīng)元的活動。

志愿者們被要求收縮脛骨，為了讓其基本保持緊張狀態(tài)，并志愿者們用腳支撐地面以防止運動。我們觀察了整個實驗過程中提取的神經(jīng)信號中的變化。并將這些信號分成控制肌肉收縮的低頻和 20 Hz 左右的額外頻率，然后設(shè)計這兩個分量分別與計算機屏幕上光標(biāo)的水平和垂直控制相關(guān)聯(lián)。最后，要求志愿者嘗試在屏幕上移動光標(biāo)到屏幕上指定的位置。但我們實在是無法向志愿者解釋清楚到底怎么做到這一點，他們不得不依靠光標(biāo)位置的視覺反饋，讓大腦弄明白應(yīng)該如何移動它。

但出乎意料的是，這些志愿者，在不知道自己怎么做的情況下，既然能夠在幾分鐘內(nèi)完成任務(wù)，將光標(biāo)在屏幕上快速移動，盡管移動過程中抖動很厲害。從一個神經(jīng)命令信號開始——收縮脛骨前肌——他們正在學(xué)習(xí)開發(fā)第二個信號來控制計算機光標(biāo)的垂直運動，獨立于肌肉控制（它指導(dǎo)光標(biāo)的水平運動）。人類在尋找與自然運動任務(wù)分開的神經(jīng)控制通道方面竟然如此輕松地邁出了重要的第一步，這確實讓人興奮不已。

上圖是低頻和高頻神經(jīng)信號分別控制計算機光標(biāo)水平和垂直運動的實驗結(jié)果。彩色橢圓（中心有加號）顯示目標(biāo)區(qū)域。前三個圖表顯示了一個用戶在三個試驗中為每個目標(biāo)實現(xiàn)的軌跡（每個都從左下角開始）。右下角的圖，點表示在成功試驗中達(dá)到的平均位置。彩色十字標(biāo)記每個目標(biāo)的平均位置和結(jié)果范圍。

但我們也必須清醒地意識到，這種控制對于實際使用來說還是太有限了。下一步的研究應(yīng)該是如何更準(zhǔn)確地獲取神經(jīng)元信號，以及人們是否可以使用它們來控制機器人肢體的同時，還能進行獨立的其他肢體的自然運動。

另外，到底大腦是如何運作的來實現(xiàn)控制光標(biāo)運動這樣的壯舉的，這一點也讓我們非常好奇。在最近一項使用光標(biāo)任務(wù)的研究中，我們要求志愿者同時帶上EEG，使用腦電圖來實時查看用戶大腦中發(fā)生的情況，特別是在與自主控制運動相關(guān)的區(qū)域。結(jié)果不出所料，到達(dá)肌肉的額外 β 波段神經(jīng)信號發(fā)生的變化與大腦的類似波段變化密切相關(guān)。如前所述，β 神經(jīng)信號仍然是一個謎，因為它們在控制肌肉方面沒有發(fā)揮已知作用，甚至不清楚它們起源于何處。研究結(jié)果表明，志愿者正在學(xué)習(xí)調(diào)節(jié)大腦活動產(chǎn)生 β 信號并發(fā)送到肌肉區(qū)域。這一發(fā)現(xiàn)，將幫助我們揭開β 信號背后的潛在機理的面紗。

用于全身和多感官（視覺、音頻、觸覺）交互的多肢虛擬環(huán)境 (MUVE) 是倫敦帝國理工學(xué)院實驗室開發(fā)的一個獨特的系統(tǒng)，可以在動態(tài)虛擬環(huán)境中與手臂、腿和額外的機器人肢體進行物理交互。MUVE 結(jié)合了 (i) 先進的基于跑步機的虛擬現(xiàn)實運動套件，以及 (ii) 兩個功能強大的機器人接口，可以與手臂進行平穩(wěn)而有力的交互，(iii) 多達(dá)四個輕型可穿戴機器人手臂，用于運動增強，以及 (iv)來自倫敦帝國理工學(xué)院實驗室的專用感覺運動接口，包括儀器化對象、軟傳感器和外骨骼、高級假肢、高密度 EMG 和非侵入性神經(jīng)接口。所有這些元素都同步并集成在一個系統(tǒng)中。

與此同時，倫敦帝國理工學(xué)院構(gòu)建了一套系統(tǒng)來測試這些帶有額外機器人肢體的新技術(shù)，稱之為多肢體虛擬環(huán)境，或 MUVE。MUVE 將使用戶能夠在虛擬現(xiàn)實模擬的場景中使用多達(dá)四個輕型可穿戴機械臂。該系統(tǒng)計劃開放給全球其他研究人員使用。

人類增強的未來展望

接下來，我們會進一步測試用這種β 波控制技術(shù)來操控機械臂或者其他的人體增強額外硬件設(shè)備。這也是我們的目標(biāo)。真正的挑戰(zhàn)不是連接硬件，而是如何識別足夠準(zhǔn)確的多個控制源，以便對機器人身體部位執(zhí)行復(fù)雜且精確的動作。

我們還會研究該技術(shù)將如何影響使用它的人的神經(jīng)過程。例如，如果某人有六個月使用額外機械臂的經(jīng)驗，他的神經(jīng)系統(tǒng)會發(fā)生什么變化？大腦的天然可塑性是否能讓他們適應(yīng)并獲得更直觀的控制能力？一個天生有六個手指的人可能擁有發(fā)育完全的大腦區(qū)域致力于控制額外的手指，從而產(chǎn)生非凡的操縱能力。人們針對額外的機械臂能否隨著時間的推移發(fā)展出類似的靈活性？我們還想知道控制額外的肢體會涉及多少認(rèn)知負(fù)荷。如果人們只有在實驗室環(huán)境中全神貫注時才能引導(dǎo)這樣的肢體，那么這項技術(shù)可能就沒有什么用了。然而，如果用戶在做三明治等日常工作時可以隨便多用一只手，那就意味著該技術(shù)適合日常使用。

第六指是一種可穿戴的額外機器手指，希望給慢性中風(fēng)患者使用，以補償其麻痹肢體缺失的手部功能。患者可以通過肌電圖 (EMG) 接口控制機械手指的彎曲/伸展。

其他研究小組正在研究具有不同類型控制機制的類似神經(jīng)科學(xué)問題。意大利錫耶納大學(xué)的 多梅尼科·普拉蒂奇佐（Domenico Prattichizzo） 及其同事展示了一種腕戴式軟機器人第六指。它使手因中風(fēng)而變得虛弱的用戶能夠安全地抓握物體。用戶戴上帶有 EMG 電極的帽子，并通過揚起眉毛向手指發(fā)送命令。

額外機器人肢體SRL（Supernumerary Robotic Limbs）由四部分構(gòu)成：首先，它配備了一個安全帶，與人體形成一個舒適而牢固的界面。背帶固定在機器人底座上，底座貼合用戶臀部的形狀，并包含控制電子設(shè)備和儲能單元。最后，兩個機器人肢體——每個具有三個自由度——連接到底座。

淺田晴彥（Harry Asada） 在麻省理工學(xué)院的團隊也對多種類型的額外機器人肢體進行了試驗，包括一種可穿戴套裝，該套裝使用 EMG來檢測軀干中的肌肉活動以控制額外的肢體。

其他小組正在試驗涉及基于頭皮的腦電圖或神經(jīng)植入物的控制機制。運動增強還處于早期階段，世界各地的研究人員才剛剛開始解決這個新興領(lǐng)域的最基本問題。

兩個實際問題需要首先確認(rèn)：1. 我們能否在自然運動的同時實現(xiàn)對額外機器人肢體的神經(jīng)控制？2. 系統(tǒng)是否可以在沒有用戶專心的情況下工作？如果這兩個問題中的任何一個的答案是否定的，我們就不會有實用的技術(shù)，但我們?nèi)匀粫幸粋€有趣的新工具來研究運動控制的神經(jīng)科學(xué)。如果這兩個問題的答案都是肯定的，那么我們可能已經(jīng)準(zhǔn)備好進入人類增強的新時代。現(xiàn)在是到了祝我們好運的時候了（cross the fingers）。