基于雙重閾值與相位差算法：眼動(dòng)腦機(jī)接口的技術(shù)突破與機(jī)器人控制實(shí)踐
基于雙重閾值與相位差算法：眼動(dòng)腦機(jī)接口的技術(shù)突破與機(jī)器人控制實(shí)踐
引言
神經(jīng)退行性疾病患者正面臨著軀體失控的殘酷困境，漸凍癥等病癥會(huì)讓患者大腦保持清醒，卻喪失肢體活動(dòng)與語(yǔ)言表達(dá)能力，僅能保留眼球運(yùn)動(dòng)、眨眼等眼部動(dòng)作，眼睛成為其與外界溝通的最后橋梁。為幫助這類(lèi)患者重建交互方式，腦機(jī)接口（BCI）技術(shù)成為重要研究方向，但其應(yīng)用中始終受眼電偽跡干擾——眼部動(dòng)作產(chǎn)生的強(qiáng)電信號(hào)，會(huì)掩蓋微弱的腦電信號(hào)，傳統(tǒng)研究均以消除該類(lèi)偽跡噪聲為核心。而眼電偽跡實(shí)則具備信噪比高、可由患者主觀控制的優(yōu)勢(shì)，基于此，米蘭理工大學(xué)團(tuán)隊(duì)提出逆向研究思路，將眼電偽跡轉(zhuǎn)化為控制輔助機(jī)器人的核心指令，為開(kāi)發(fā)更高效、低成本的輔助型腦機(jī)接口提供了全新方向。
論文概要
米蘭理工大學(xué)團(tuán)隊(duì)的研究發(fā)表于Scientific Reports，題為《Brain computer interface for robot control with eye artifacts for assistive applications》提出基于眼偽影的腦機(jī)接口系統(tǒng)，以EEG信號(hào)實(shí)現(xiàn)輔助機(jī)器人控制。研究將眼偽影作為有效信息源，借助TMSi SAGA 64+采集信號(hào)，開(kāi)發(fā)新算法：雙閾值法識(shí)眨眼，利用F7/F8通道特征檢測(cè)側(cè)向眼動(dòng)，還能區(qū)分不同眨眼頻次。經(jīng)離線和實(shí)時(shí)實(shí)驗(yàn)驗(yàn)證，算法具備有效檢測(cè)能力，5名參與者通過(guò)該系統(tǒng)成功操控TIAGo機(jī)器人完成多項(xiàng)任務(wù)。研究為相關(guān)設(shè)備開(kāi)發(fā)了首個(gè)實(shí)時(shí)EEG處理算法，為神經(jīng)退行性疾病患者提供了新的人機(jī)交互方式，也為輔助型BCI研發(fā)提供了新思路。
1.數(shù)據(jù)采集
本研究納入5名受試者（3男2女，年齡27±3歲），實(shí)驗(yàn)方案經(jīng)倫理批準(zhǔn)，受試者均簽署知情同意書(shū)。采用TMSi SAGA 64+設(shè)備以500 Hz采樣頻率采集EEG信號(hào)，搭配凝膠電極帽且電極阻抗＜5 kΩ，接地、參考電極分置右、左耳后骨骼，選取Fp1、F7、F8通道分別檢測(cè)眨眼及左右側(cè)向眼動(dòng)。
2.數(shù)據(jù)預(yù)處理
對(duì)原始信號(hào)做0.5-100Hz帶通濾波，經(jīng)短時(shí)傅里葉變換、傅里葉變換分析頻率特征，確定眼偽影主導(dǎo)頻率帶為0.5-15Hz，采用二階巴特沃斯濾波器完成1-13Hz帶通濾波；濾波后信號(hào)按100個(gè)數(shù)據(jù)點(diǎn)分窗，窗口重疊50個(gè)數(shù)據(jù)點(diǎn)。濾波后波形如圖1所示：
3.閾值確定
針對(duì)不同通道和眼偽影類(lèi)型設(shè)定個(gè)性化閾值，解決信號(hào)峰值的個(gè)體內(nèi)、個(gè)體間變異性問(wèn)題：Fp1通道采用雙閾值法，經(jīng)均值（M）和標(biāo)準(zhǔn)差（SD）計(jì)算，設(shè)156μV上閾值、80μV下閾值，分別檢測(cè)常規(guī)與微弱眨眼；F7、F8通道利用相位差和峰谷模式，為左、右看各設(shè)4個(gè)閾值，明確正負(fù)峰值判定標(biāo)準(zhǔn)（如左看時(shí)F7<-20μV、F8>30μV），如圖2所示：
4.檢測(cè)算法設(shè)計(jì)
開(kāi)發(fā)離線與實(shí)時(shí)通用的檢測(cè)算法，核心流程：先將信號(hào)1-13Hz濾波并初始化參數(shù)；以3×100數(shù)據(jù)點(diǎn)為窗口檢測(cè)，優(yōu)先判斷Fp1通道是否超眨眼閾值，觸發(fā)則記錄眨眼事件；未檢測(cè)到眨眼時(shí)，驗(yàn)證F7、F8通道峰谷/相位特征，符合則記錄左/右看事件；Fp1超80μV但未達(dá)主閾值時(shí)判定為微弱眨眼；無(wú)事件觸發(fā)則保留窗口數(shù)據(jù)用于下次檢測(cè)。
5.機(jī)器人控制系統(tǒng)搭建
選用PAL ROBOTICS的TIAGo機(jī)器人，基于ROS Melodic框架在Ubuntu 18.04系統(tǒng)搭建BCI控制系統(tǒng)，含眼偽影檢測(cè)算法、眨眼頻次分配器、圖形用戶界面（GUI）、ROS通信分配器四大子系統(tǒng)；
通過(guò)GUI設(shè)計(jì)機(jī)器人基座移動(dòng)、預(yù)設(shè)任務(wù)選擇等功能，定義側(cè)向眼動(dòng)切換按鈕、雙眨眼確認(rèn)操作、四次眨眼返回上一頁(yè)的眼偽影控制邏輯。
研究結(jié)果
1. 離線測(cè)試結(jié)果
對(duì)6組不同日期的單受試者數(shù)據(jù)進(jìn)行檢測(cè)，整體準(zhǔn)確率表現(xiàn)為：眨眼88.7%（808/911）、左看96.9%（281/290）、右看86.5%（256/296），單組實(shí)驗(yàn)中各動(dòng)作最低準(zhǔn)確率分別為眨眼78.8%、左看84.6%、右看77.8%�；煜仃囷@示，誤分類(lèi)多因多個(gè)眼動(dòng)事件連續(xù)發(fā)生導(dǎo)致，少量右看和眨眼事件被誤判為左看，無(wú)左看事件被誤判為眨眼的情況。
2. 實(shí)時(shí)檢測(cè)結(jié)果
實(shí)時(shí)實(shí)驗(yàn)中受試者完成316次眨眼、82次左看、83次右看，實(shí)時(shí)檢測(cè)整體準(zhǔn)確率低于離線檢測(cè)：眨眼97.9%、左看59.8%、右看50.0%；而對(duì)實(shí)時(shí)數(shù)據(jù)的離線重檢測(cè)準(zhǔn)確率則為眨眼100%、左看89.0%、右看94.2%。二者差異主要源于實(shí)時(shí)濾波為隨機(jī)尺寸窗口，離線為整體濾波后分割窗口，且眨眼檢測(cè)因峰值特征明顯，準(zhǔn)確率在實(shí)時(shí)與離線中差異較小。
3.機(jī)器人控制驗(yàn)證結(jié)果
5名受試者通過(guò)該BCI系統(tǒng)成功實(shí)現(xiàn)對(duì)TIAGo機(jī)器人的全功能控制，包括基座前后移動(dòng)/旋轉(zhuǎn)、發(fā)送護(hù)理人員郵件、機(jī)器人舞蹈/復(fù)位、前往預(yù)設(shè)桌位、物體掃描與抓取等，實(shí)時(shí)實(shí)驗(yàn)混淆矩陣顯示，左看檢測(cè)的誤分類(lèi)率較高，大量左看事件被誤判為右看，但受試者可通過(guò)側(cè)向眼動(dòng)的雙向切換功能彌補(bǔ)該缺陷，不影響整體控制效果。
結(jié)論與展望
本研究將EEG信號(hào)中的眼偽影轉(zhuǎn)化為控制指令，構(gòu)建了輔助機(jī)器人控制BCI系統(tǒng)，首創(chuàng)利用F7、F8通道相位差與峰谷模式檢測(cè)側(cè)向眼動(dòng)，雙閾值法精準(zhǔn)識(shí)別常規(guī)與微弱眨眼，離線檢測(cè)準(zhǔn)確率良好，且成功實(shí)現(xiàn)對(duì)TIAGo機(jī)器人的多任務(wù)操控，為神經(jīng)退行性疾病患者的人機(jī)交互提供了新路徑。
該研究驗(yàn)證了眼偽影作為機(jī)器人控制指令的可行性，搭建了從EEG信號(hào)采集、眼偽影檢測(cè)到機(jī)器人指令輸出的完整技術(shù)框架。隨著算法魯棒性提升與便攜化EEG設(shè)備發(fā)展，本研究為輔助型腦機(jī)接口從實(shí)驗(yàn)室研究向臨床應(yīng)用轉(zhuǎn)化奠定基礎(chǔ)，推動(dòng)其在殘障人士輔助領(lǐng)域向更高效、貼合需求的方向發(fā)展。
原文信息鏈接
Karas, K., Pozzi, L., Pedrocchi, A. et al. Brain-computer interface for robot control with eye artifacts for assistive applications. Sci Rep 13, 17512 (2023).
https://doi.org/10.1038/s41598-023-44645-y
研究團(tuán)隊(duì)
本文的研究團(tuán)隊(duì)是來(lái)自米蘭理工大學(xué)的Loris Roveda 教授團(tuán)隊(duì)。團(tuán)隊(duì)的主要研究方向?yàn)橥夤趋涝O(shè)計(jì)與控制、人機(jī)協(xié)作、自主機(jī)器人、強(qiáng)化學(xué)習(xí)、生成式人工智能以及工業(yè)過(guò)程建模、優(yōu)化和控制。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
引言
神經(jīng)退行性疾病患者正面臨著軀體失控的殘酷困境，漸凍癥等病癥會(huì)讓患者大腦保持清醒，卻喪失肢體活動(dòng)與語(yǔ)言表達(dá)能力，僅能保留眼球運(yùn)動(dòng)、眨眼等眼部動(dòng)作，眼睛成為其與外界溝通的最后橋梁。為幫助這類(lèi)患者重建交互方式，腦機(jī)接口（BCI）技術(shù)成為重要研究方向，但其應(yīng)用中始終受眼電偽跡干擾——眼部動(dòng)作產(chǎn)生的強(qiáng)電信號(hào)，會(huì)掩蓋微弱的腦電信號(hào)，傳統(tǒng)研究均以消除該類(lèi)偽跡噪聲為核心。而眼電偽跡實(shí)則具備信噪比高、可由患者主觀控制的優(yōu)勢(shì)，基于此，米蘭理工大學(xué)團(tuán)隊(duì)提出逆向研究思路，將眼電偽跡轉(zhuǎn)化為控制輔助機(jī)器人的核心指令，為開(kāi)發(fā)更高效、低成本的輔助型腦機(jī)接口提供了全新方向。
論文概要
米蘭理工大學(xué)團(tuán)隊(duì)的研究發(fā)表于Scientific Reports，題為《Brain computer interface for robot control with eye artifacts for assistive applications》提出基于眼偽影的腦機(jī)接口系統(tǒng)，以EEG信號(hào)實(shí)現(xiàn)輔助機(jī)器人控制。研究將眼偽影作為有效信息源，借助TMSi SAGA 64+采集信號(hào)，開(kāi)發(fā)新算法：雙閾值法識(shí)眨眼，利用F7/F8通道特征檢測(cè)側(cè)向眼動(dòng)，還能區(qū)分不同眨眼頻次。經(jīng)離線和實(shí)時(shí)實(shí)驗(yàn)驗(yàn)證，算法具備有效檢測(cè)能力，5名參與者通過(guò)該系統(tǒng)成功操控TIAGo機(jī)器人完成多項(xiàng)任務(wù)。研究為相關(guān)設(shè)備開(kāi)發(fā)了首個(gè)實(shí)時(shí)EEG處理算法，為神經(jīng)退行性疾病患者提供了新的人機(jī)交互方式，也為輔助型BCI研發(fā)提供了新思路。
文章信息
研究方法1.數(shù)據(jù)采集
本研究納入5名受試者（3男2女，年齡27±3歲），實(shí)驗(yàn)方案經(jīng)倫理批準(zhǔn)，受試者均簽署知情同意書(shū)。采用TMSi SAGA 64+設(shè)備以500 Hz采樣頻率采集EEG信號(hào)，搭配凝膠電極帽且電極阻抗＜5 kΩ，接地、參考電極分置右、左耳后骨骼，選取Fp1、F7、F8通道分別檢測(cè)眨眼及左右側(cè)向眼動(dòng)。
2.數(shù)據(jù)預(yù)處理
對(duì)原始信號(hào)做0.5-100Hz帶通濾波，經(jīng)短時(shí)傅里葉變換、傅里葉變換分析頻率特征，確定眼偽影主導(dǎo)頻率帶為0.5-15Hz，采用二階巴特沃斯濾波器完成1-13Hz帶通濾波；濾波后信號(hào)按100個(gè)數(shù)據(jù)點(diǎn)分窗，窗口重疊50個(gè)數(shù)據(jù)點(diǎn)。濾波后波形如圖1所示：
圖1 Fp1、F7 和 F8 通道的 1–13 Hz 進(jìn)行巴特沃斯帶通濾波信號(hào)
3.閾值確定
針對(duì)不同通道和眼偽影類(lèi)型設(shè)定個(gè)性化閾值，解決信號(hào)峰值的個(gè)體內(nèi)、個(gè)體間變異性問(wèn)題：Fp1通道采用雙閾值法，經(jīng)均值（M）和標(biāo)準(zhǔn)差（SD）計(jì)算，設(shè)156μV上閾值、80μV下閾值，分別檢測(cè)常規(guī)與微弱眨眼；F7、F8通道利用相位差和峰谷模式，為左、右看各設(shè)4個(gè)閾值，明確正負(fù)峰值判定標(biāo)準(zhǔn)（如左看時(shí)F7<-20μV、F8>30μV），如圖2所示：
圖2 眨眼、向左看和向右看對(duì)于Fp1、F7和F8信號(hào)通道的影響
4.檢測(cè)算法設(shè)計(jì)
開(kāi)發(fā)離線與實(shí)時(shí)通用的檢測(cè)算法，核心流程：先將信號(hào)1-13Hz濾波并初始化參數(shù)；以3×100數(shù)據(jù)點(diǎn)為窗口檢測(cè)，優(yōu)先判斷Fp1通道是否超眨眼閾值，觸發(fā)則記錄眨眼事件；未檢測(cè)到眨眼時(shí)，驗(yàn)證F7、F8通道峰谷/相位特征，符合則記錄左/右看事件；Fp1超80μV但未達(dá)主閾值時(shí)判定為微弱眨眼；無(wú)事件觸發(fā)則保留窗口數(shù)據(jù)用于下次檢測(cè)。
5.機(jī)器人控制系統(tǒng)搭建
選用PAL ROBOTICS的TIAGo機(jī)器人，基于ROS Melodic框架在Ubuntu 18.04系統(tǒng)搭建BCI控制系統(tǒng)，含眼偽影檢測(cè)算法、眨眼頻次分配器、圖形用戶界面（GUI）、ROS通信分配器四大子系統(tǒng)；
圖3 機(jī)器人子系統(tǒng)之間的通信流程
通過(guò)GUI設(shè)計(jì)機(jī)器人基座移動(dòng)、預(yù)設(shè)任務(wù)選擇等功能，定義側(cè)向眼動(dòng)切換按鈕、雙眨眼確認(rèn)操作、四次眨眼返回上一頁(yè)的眼偽影控制邏輯。
圖4 BCI在線實(shí)驗(yàn)過(guò)程中使用的GUI
研究結(jié)果
1. 離線測(cè)試結(jié)果
對(duì)6組不同日期的單受試者數(shù)據(jù)進(jìn)行檢測(cè)，整體準(zhǔn)確率表現(xiàn)為：眨眼88.7%（808/911）、左看96.9%（281/290）、右看86.5%（256/296），單組實(shí)驗(yàn)中各動(dòng)作最低準(zhǔn)確率分別為眨眼78.8%、左看84.6%、右看77.8%�；煜仃囷@示，誤分類(lèi)多因多個(gè)眼動(dòng)事件連續(xù)發(fā)生導(dǎo)致，少量右看和眨眼事件被誤判為左看，無(wú)左看事件被誤判為眨眼的情況。
表1 算法離線測(cè)試的準(zhǔn)確率
2. 實(shí)時(shí)檢測(cè)結(jié)果
實(shí)時(shí)實(shí)驗(yàn)中受試者完成316次眨眼、82次左看、83次右看，實(shí)時(shí)檢測(cè)整體準(zhǔn)確率低于離線檢測(cè)：眨眼97.9%、左看59.8%、右看50.0%；而對(duì)實(shí)時(shí)數(shù)據(jù)的離線重檢測(cè)準(zhǔn)確率則為眨眼100%、左看89.0%、右看94.2%。二者差異主要源于實(shí)時(shí)濾波為隨機(jī)尺寸窗口，離線為整體濾波后分割窗口，且眨眼檢測(cè)因峰值特征明顯，準(zhǔn)確率在實(shí)時(shí)與離線中差異較小。
表2 實(shí)時(shí)與離線檢測(cè)精度
3.機(jī)器人控制驗(yàn)證結(jié)果
5名受試者通過(guò)該BCI系統(tǒng)成功實(shí)現(xiàn)對(duì)TIAGo機(jī)器人的全功能控制，包括基座前后移動(dòng)/旋轉(zhuǎn)、發(fā)送護(hù)理人員郵件、機(jī)器人舞蹈/復(fù)位、前往預(yù)設(shè)桌位、物體掃描與抓取等，實(shí)時(shí)實(shí)驗(yàn)混淆矩陣顯示，左看檢測(cè)的誤分類(lèi)率較高，大量左看事件被誤判為右看，但受試者可通過(guò)側(cè)向眼動(dòng)的雙向切換功能彌補(bǔ)該缺陷，不影響整體控制效果。
結(jié)論與展望
本研究將EEG信號(hào)中的眼偽影轉(zhuǎn)化為控制指令，構(gòu)建了輔助機(jī)器人控制BCI系統(tǒng)，首創(chuàng)利用F7、F8通道相位差與峰谷模式檢測(cè)側(cè)向眼動(dòng)，雙閾值法精準(zhǔn)識(shí)別常規(guī)與微弱眨眼，離線檢測(cè)準(zhǔn)確率良好，且成功實(shí)現(xiàn)對(duì)TIAGo機(jī)器人的多任務(wù)操控，為神經(jīng)退行性疾病患者的人機(jī)交互提供了新路徑。
該研究驗(yàn)證了眼偽影作為機(jī)器人控制指令的可行性，搭建了從EEG信號(hào)采集、眼偽影檢測(cè)到機(jī)器人指令輸出的完整技術(shù)框架。隨著算法魯棒性提升與便攜化EEG設(shè)備發(fā)展，本研究為輔助型腦機(jī)接口從實(shí)驗(yàn)室研究向臨床應(yīng)用轉(zhuǎn)化奠定基礎(chǔ)，推動(dòng)其在殘障人士輔助領(lǐng)域向更高效、貼合需求的方向發(fā)展。
原文信息鏈接
Karas, K., Pozzi, L., Pedrocchi, A. et al. Brain-computer interface for robot control with eye artifacts for assistive applications. Sci Rep 13, 17512 (2023).
https://doi.org/10.1038/s41598-023-44645-y
研究團(tuán)隊(duì)
本文的研究團(tuán)隊(duì)是來(lái)自米蘭理工大學(xué)的Loris Roveda 教授團(tuán)隊(duì)。團(tuán)隊(duì)的主要研究方向?yàn)橥夤趋涝O(shè)計(jì)與控制、人機(jī)協(xié)作、自主機(jī)器人、強(qiáng)化學(xué)習(xí)、生成式人工智能以及工業(yè)過(guò)程建模、優(yōu)化和控制。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
- R-LMD+BAO+OEL：一種高精度 EEG 認(rèn)知負(fù)荷檢測(cè)方法的研究
- 培養(yǎng)皿里的智能突破：DishBrain活體神經(jīng)元如何靠自學(xué)玩轉(zhuǎn)電玩
- 基于雙重閾值與相位差算法：眼動(dòng)腦機(jī)接口的技術(shù)突破與機(jī)器人控制實(shí)踐
- 發(fā)展性語(yǔ)言障礙兒童的靜息態(tài)腦電與語(yǔ)音感知探究
- 基于 fNIRS 的多語(yǔ)者語(yǔ)言切換神經(jīng)機(jī)制研究
- 基于EEG超掃描分析技術(shù)探究參與式用戶互動(dòng)中的來(lái)訪者情緒反應(yīng)
- 3Brain 3D HD‑MEA助力構(gòu)建人源基底前腦→皮層膽堿能投射模型
- 文獻(xiàn)解讀：認(rèn)知游戲干預(yù)重塑Rett綜合征腦電頻譜熵與頻率分布
- 博�？登秩胧侥X機(jī)接口醫(yī)療器械獲批上市
- 維拓啟創(chuàng)高薪誠(chéng)聘腦科學(xué)賽道銷(xiāo)售工程師、市場(chǎng)專員
- 贏富邀您參加2026汽車(chē)駕駛模擬與智能座艙技術(shù)研討會(huì)
- IHMD第二屆腦科學(xué)醫(yī)療器械創(chuàng)新與產(chǎn)業(yè)化論壇通知
- 禮智生物科技誠(chéng)聘銷(xiāo)售主管、大區(qū)銷(xiāo)售經(jīng)理
- CNSD·CNS藥物開(kāi)發(fā)與創(chuàng)新技術(shù)發(fā)展大會(huì)活動(dòng)議程
- CNSD · CNS藥物開(kāi)發(fā)與創(chuàng)新技術(shù)發(fā)展大會(huì)報(bào)名開(kāi)啟
- 禮智生物誠(chéng)邀您蒞臨2025神經(jīng)環(huán)路示蹤與調(diào)控大會(huì)
Copyright(C) 1998-2026 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com