或許,這項新進展可以被描述為“意念書寫”。
坐在電腦前,無需任何肢體動作,動一動“意念”,你就可以將大腦中想寫的字符呈現在屏幕上。其“寫字”速度甚至可與身體健全的同齡人在智能手機上發短信的速度相媲美。
在5月13日以封面形式發表于《自然》的一項報告中,美國斯坦福大學的研究者通過腦機接口(BCI),可讓參試者每分鐘動用“意念”寫出90個字符,是之前采用類似腦機接口打字記錄的兩倍多,且書寫準確率超99%。
“隨著進一步的發展,這項創新成果可以讓癱瘓者無需用手就能快速打字。”該論文資深作者、斯坦福大學霍華德·休斯醫學研究所研究員Krishna Shenoy在接受《中國科學報》采訪時說。
“思想驅動”的交流
“我的肉體沉重如潛水鐘,但內心渴望像蝴蝶般自由飛翔……”1995年12月8日,一場突如其來的災難襲擊了法國雜志編輯吉恩·多米尼克·鮑比——腦干突然中風,繼而引發極其罕見的閉鎖癥候群。憑借頑強的意志和僅能活動的左眼,鮑比給后世留下了《潛水鐘與蝴蝶》一書。
目前,鮑比使用的眼球追蹤鍵盤技術可以讓癱瘓者每分鐘輸入47.5個字符,遠低于身體健全者的每分鐘115個字符。且這種技術并不適用于那些眼部運動受損的人,很多患者只能“與世隔絕”。
而Shenoy與合作者的最新研究成果無疑為他們打開了一扇與外界溝通的窗。
“當受傷或疾病奪去一個人的行動能力之后,其大腦對一些行為(如寫字、行走、說話等)的神經活動仍然存在。我們希望利用相關神經活動幫助癱瘓或截肢的人恢復一些失去的能力。”Shenoy說。這推動他和該研究共同通訊作者、斯坦福大學神經外科醫生Jaimie Henderson自2005年起開始BCI方面的合作。
在2017年發表于eLife的一項研究中,他們在3名肢體癱瘓者的大腦運動皮層植入了BCI芯片。每個芯片約阿司匹林藥片大小,上面有100個電極,用于接收大腦運動皮層神經元發出的信號,這些信號可以控制手的動作。參試者被要求集中精力,嘗試用與手臂運動相關的“意念”,用光標指向字符并點擊。其中,代號為T5的參試者(2007年因脊髓損傷幾乎喪失了頸部以下的所有活動能力)創造了最高紀錄:每分鐘可點擊40個字符。
這種方式為重度癱瘓與失明者找到了打開“心窗”的鑰匙。不過,Shenoy與合作者的想法是:“讓意念書寫的速度再快些!”
通過進一步研究,他們發現,與以穩定速度直線移動光標等簡單的預期運動相比,涉及改變速度和曲線軌跡的復雜預期運動可以通過AI算法進行更簡單、迅速的解譯。這讓他們把研究思路從指向和點擊字符轉變為書寫字符。
“字符表中的每個字符都不相同,所以很容易區分。”第一作者兼通訊作者、Shenoy團隊的神經科學研究者Frank Willett向《中國科學報》解釋說,通過AI算法對BCI芯片上的神經信號信息進行解碼,就可以推測T5想做的手部運動,并將參試者的書寫“意念”快速轉換為電腦屏幕上的文本。
很快,新思路讓這種“思想驅動”的交流速度翻倍。
媲美普通人手機打字速度
“如果說2017年的研究模式類似于‘打字’,那么這項新研究的模式則類似于‘手寫’。”Willett解釋說。
T5是這項研究的唯一參試者。盡管手臂不能動,但他還是集中精力,試圖用一支假想的筆在一張假想的格子紙上寫出字符表中的單個字符。他把每個字符重復10次,讓軟件“學習”識別與他想寫的那個特定字符相關的神經信號。
隨后,研究者給T5展示了幾組句子,并要求他在心中努力“書寫”每個句子,但不使用大寫字符。如“我被打斷了,無法保持沉默”“三十秒內軍隊就登陸了”。最后,無論T5想寫什么,AI算法大約僅延遲半秒就能把他的想法“寫”在電腦屏幕上。接下來,T5被要求抄寫算法從未接觸過的句子。最終,他能夠每分鐘生成90個字符,大約18個單詞。相比之下,身體健全的人在智能手機上的打字速度為每分鐘23個單詞。
“這種方法讓癱瘓者輸出句子的速度幾乎可以與健全同齡成年人用智能手機打字的速度相媲美。”Henderson說,“我們的目標是讓他們恢復用短信交流的能力。”
據介紹,T5的抄寫錯誤率約為每18至19個字符中存在一處錯誤,自由寫作的錯誤率約為每11或12個字符中一處錯誤。不過,當研究人員使用類似于智能手機鍵盤的自動更正功能加以糾正后,錯誤率明顯降低:抄寫的錯誤率低于1%,自由書寫的錯誤率略高于2%。
“與其他BCI相比,錯誤率已經相當低。”Shenoy說。據介紹,受法律限制,目前這項研究中使用的BCI僅用于調查性研究,尚未批準用于商業用途。
未參與這項研究的加州大學伯克利分校的神經工程師Jose Carmena在接受《中國科學報》采訪時評價稱,這項技術以及其他類似技術可能有助于殘障人士。雖然這些發現只是初步的,卻是該領域的一大進步。“腦機接口可將思維轉化為行動。”Carmena說,“這篇論文就是一個很好的例子。BCI破譯了書寫的思想,并付諸行動。”
為殘障人士帶來無限可能
由于在醫療康復、養老助殘、航空航天和軍事等領域有廣泛的應用前景,當前,國內相關研究也在如火如荼地開展。
例如,華南理工大學腦機交互實驗室通過采集分析實驗者的腦電波,實現了“腦控輸入法”;香港中文大學通過BCI系統將腦電波轉換成繁體中文字,讓全身癱瘓無法說話的人有機會“打開心窗”。此外,天津大學神經工程團隊早在2016年就與中國航天員科研訓練中心合作,成功開展人類首次太空腦—機交互實驗,通過獲取航天員在太空飛行中腦—機交互生理特征的變化模型,初步探索意念控制在航天任務中的可行性。
不過,在同期發表于《自然》的一篇觀點新聞中,華盛頓大學生物工程系的Pavithra Rajeswaran和Amy Orsborn表示,如何讓腦機接口在其生命周期中保持性能仍需要進一步研究。“需要擁有極佳的效果和使用益處,才能證明在患者腦部植入電極所產生的費用和風險是值得的。”
展望未來,Shenoy團隊希望將手寫文本輸入的方法整合到一個更全面的系統。該系統還包括目前智能手機上使用的指向和點擊導航,甚至嘗試性的語音解碼。“擁有這2~3種模式并在它們之間切換,是人天生就可以做到的。”
“雖然我們每分鐘可以寫接近20個單詞,但語速往往在125個單詞左右,所以語音將是彌補手寫不足的另一個令人興奮的方向。”Shenoy說,“如果將這些系統結合起來,可以為患者提供更多有效溝通的選擇。”
Shenoy說,接下來,研究小組打算與聾啞人、患有肌萎縮性脊髓側索硬化癥(這種退行性神經疾病會導致運動和語言能力喪失)的參與者合作。Henderson也補充說,新系統有可能幫助那些因多種情況癱瘓的人,如因脊髓損傷失去上肢或語言能力的人。
“鮑比費了極大的力氣,通過眼球運動一次選擇一個字符才寫出《潛水鐘與蝴蝶》這本動人的書。”Henderson說,“想象一下,如果有現在這樣的界面,他能做些什么。”(記者 馮麗妃 張思瑋)