靠腦電波輸出想法,癱瘓男子拼出1100個單詞

時任法國時尚雜志《ELLE》總編輯的Jean-DominiqueBauby , 在一次偶然的中風蘇醒后 , 除了左眼還能夠眨動外全身癱瘓 。 然而 , 這種名為閉鎖綜合征的疾病沒能將他清醒的意識禁錮在僵死的肉體中 , 他依靠眨眼選擇別人念出的字母 , 來完成單詞的拼寫 。 單詞串成語句 , 語句連成段落 , 他花費了兩年的時間 , 完成了生命中唯一的著作《潛水鐘與蝴蝶》 。 “潛水鐘”象征沉重的命運 , 而蹁躚飛舞的“蝴蝶”則象征著不甘束縛的思緒 , 正是作者自身狀況的最好寫照 。
這名被稱作Bravo1的癱瘓男子則比Bauby幸運一些 。 他在20歲時因為腦橋中風 , 被神經科醫生和語言病理學家診斷為嚴重的痙攣性四肢癱瘓和構音不全 。 認知能力雖然完整 , 也保留了發出咕嚕聲和呻吟聲的能力 , 但他無法發出清晰的語言 。 他的頭頸還能轉動 , 所以能夠通過加裝在帽子上的指針點觸屏幕上的字母來進行交流 , 速度約為每分鐘5個單詞或18個字符 。
靠腦電波輸出想法,癱瘓男子拼出1100個單詞
文章圖片
圖1Bravo1通過控制帽子上的指針點觸屏幕(圖源:[1])
但交流還可以變得更簡單 。 到了2019年 , 作為BCI手臂和聲音恢復(BCIRestorationofArmandVoice , BRAVO)臨床試驗的第一位參與者 , 研究人員通過手術在他大腦的語言運動皮層區域植入一個高密度電極 。 BCI即BrainComputerInterface , 意為腦機接口 。 通過這個電極 , Bravo1的大腦信號傳輸到計算機中進行實時分析 。
Bravo1可以從預先定義的50個極常用單詞中挑選他想說的那個 , 然后作出大聲念出該單詞的嘗試(overt-speechattempts) 。 對于某些構音不全患者 , 在嘗試說話時能夠產生有限的口腔運動和無差別的發聲 。 計算機識別出Bravo1在嘗試說話期間的神經活動 , 并通過深度學習模型評估Bravo1說出某個單詞的概率 。 結合神經活動給出的線索 , 以及在一般語句表達中某個單詞出現的合理性 , 計算機最終會給出Bravo1最可能想要表達的完整句子 。
靠腦電波輸出想法,癱瘓男子拼出1100個單詞
文章圖片
圖2由神經活動直接解碼詞匯的示意圖(圖源:[2])
這個系統最終達到了每分鐘15.2個單詞的中位速率 , 以及74.4%的中位單詞正確率 。 相關研究成果以“NeuroprosthesisforDecodingSpeechinaParalyzedPersonwithAnarthria”為題于2021年7月發表在TheNewEnglandJournalofMedicine(圖2)[2] 。
靠腦電波輸出想法,癱瘓男子拼出1100個單詞
文章圖片
圖3研究成果(圖源:[2])
在此基礎上 , 研究人員還想要再進一步 。 首先是詞匯量的擴充 , 必須要讓Bravo1有辦法拼寫出更多的較常用單詞 , 但這對于計算機將神經活動準確解碼為特定單詞 , 難度將大幅提升 。 其次Bravo1并不喜歡通過嘗試大聲說話的方式來控制拼寫系統 , 因為那樣異常費力 , 如果改為僅僅在心中嘗試默念(silent-speechattempts) , 對他來說會更為舒適 , 但尚不清楚僅靠默念時的神經活動能否正確解碼出Bravo1想要表達的內容 , 尤其Bravo1已經十多年不能說話了 , 語言控制背后的神經信號是否仍然完整需要存疑 。
為此 , 研究人員設計了如下的實時拼寫流程:
1·Bravo1嘗試默念單詞激活拼寫系統;
2·屏幕上呈現倒計時提示 , 倒計時結束 , Bravo1按照北約音標字母表默念單詞 , 比如他想說字母c就默念Chalie , 字母t就默念Tango;
3·拼寫系統根據接下來2.5s內的神經活動判定Bravo1最可能想要表達的字母是什么;
4·拼寫系統根據一般語句表達的合理預期調整當前字句 , 比如“我吃……”后面跟著的更可能是“過了”而不是“過去”;