上肢運動的研究在神經(jīng)康復(fù)、運動控制、假肢控制等領(lǐng)域具有重要應(yīng)用價值。傳統(tǒng)的上肢運動分析多依賴于單一類型的信號，如表面肌電信號（sEMG）或運動捕捉數(shù)據(jù)，缺乏對觸覺信息的整合。然而，在抓握等精細操作中，觸覺信息對于理解人與環(huán)境的交互至關(guān)重要。

當(dāng)前公開的數(shù)據(jù)集多集中于單一或兩種信號類型，缺乏同時包含高密度肌電（HD-sEMG）、雙極肌電、運動捕捉（MoCap）、傳感器手套（包括彎曲與觸覺數(shù)據(jù)）的多模態(tài)數(shù)據(jù)集（見表1）。這種數(shù)據(jù)缺失限制了多源信息融合方法的研究，尤其是在假肢控制領(lǐng)域中，如何融合多種信號以提高控制精度和魯棒性仍是一個挑戰(zhàn)。

為填補這一空白，本文構(gòu)建了一個包含10名健康受試者、16種動作任務(wù)的多模態(tài)上肢運動數(shù)據(jù)集“Reach&Grasp”，涵蓋了從簡單單關(guān)節(jié)動作到復(fù)雜抓取操作的全過程。該數(shù)據(jù)集不僅支持傳統(tǒng)肌電控制研究，還為觸覺反饋、運動規(guī)劃、模式識別等方向提供了基礎(chǔ)數(shù)據(jù)支持。

論文摘要

本文發(fā)布了一個多模態(tài)上肢運動數(shù)據(jù)集“Reach&Grasp”，包含10名健康受試者在執(zhí)行16種任務(wù)時的多種信號記錄。任務(wù)包括手部開合、腕部屈伸/旋前旋后、三指抓握、圓柱/球形抓握、以及復(fù)雜的前伸抓取動作（如倒水、擰瓶蓋、模擬進食等）。

數(shù)據(jù)采集包括：

• 高密度表面肌電（HD-sEMG）：使用OT Bioelettronica的Sessantaquattro設(shè)備，采樣率2 kHz，64通道；
• 雙極表面肌電：使用Cometa Wave Plus系統(tǒng)，10通道；
• 運動捕捉：Vicon系統(tǒng)，10攝像頭，23個反光標記點；
• 傳感器手套：來自Bielefeld University，提供手指彎曲（CyberGlove）與觸覺分布（58個taxels）數(shù)據(jù)。

所有數(shù)據(jù)遵循Brain Imaging Data Structure（BIDS）標準組織，包含原始數(shù)據(jù)與元數(shù)據(jù)，已上傳至IIT Dataverse，支持開源共享與復(fù)用。數(shù)據(jù)集可用于假肢控制、運動解碼、傳感器融合等研究方向。

 
研究方法
 

共招募10名右利手健康受試者（4女6男，年齡24–36歲）。每位受試者簽署知情同意書，并被分配唯一ID以保護隱私。實驗共包含16種任務(wù)，每項任務(wù)重復(fù)10次，總時長約1小時。

• 高密度肌電（HD-sEMG）：采用OT Bioelettronica Sessantaquattro系統(tǒng)，采樣率2 kHz，16位分辨率，輸入范圍±18.75 mV。兩個32通道電極貼片分別覆蓋前臂屈肌與伸肌區(qū)域，參考電極置于尺骨莖突。設(shè)備通過硬件觸發(fā)信號與Vicon同步。
• 雙極肌電：采用Cometa Wave Plus系統(tǒng)，10通道，采樣率2 kHz，輸入范圍±5 mV，電極放置于肩、臂、前臂等10個關(guān)鍵肌肉位置。
• 運動捕捉：Vicon系統(tǒng)，10臺紅外相機，23個反光標記點，采樣率100 Hz。采用Plug-in-Gait與RHand模型計算肩、肘、腕及手指關(guān)節(jié)角度。
• 傳感器手套：由Bielefeld University開發(fā)，集成CyberGlove彎曲傳感器與58個壓阻式觸覺傳感器（taxels），采樣率100 Hz，通過ROS系統(tǒng)采集。觸覺數(shù)據(jù)未經(jīng)標定，但可用于相對力分布分析。

 
所有設(shè)備通過Speedgoat實時目標機與NTP協(xié)議實現(xiàn)時鐘同步，確保多模態(tài)數(shù)據(jù)的時間對齊。

 
實驗結(jié)果

對HD-sEMG與雙極EMG進行功率譜密度分析（PSD），確認信號能量集中在10–500 Hz范圍內(nèi)，50 Hz工頻干擾被陷波濾波器有效抑制（見圖5）。結(jié)果表明信號質(zhì)量良好，適合后續(xù)分析。

通過對不同任務(wù)中關(guān)節(jié)角度變化的統(tǒng)計分析，驗證了運動學(xué)數(shù)據(jù)的合理性與任務(wù)特異性。例如：

手部開合任務(wù)中，手指關(guān)節(jié)（如MCP）角度變化顯著，而肩肘關(guān)節(jié)變化較�。ㄒ妶D6）；

腕部屈伸與旋前旋后任務(wù)中，腕關(guān)節(jié)為主要運動源（見圖7）；

復(fù)雜抓取任務(wù)（如球形抓握、倒水）中，多個關(guān)節(jié)協(xié)同參與，角度分布呈現(xiàn)雙峰特征（見圖8）。

觸覺數(shù)據(jù)分析顯示：

• 非接觸任務(wù)（如手部張開）中傳感器讀數(shù)較低；

• 接觸任務(wù)（如抓握球體）中，taxel響應(yīng)顯著增強，且不同抓取策略（如圓柱vs球體）在力分布上具有明顯差異（見圖9）；

• 部分taxel（如9、11、14）因硬件故障被排除。

• 基于運動學(xué)數(shù)據(jù)的角速度峰值，自動識別每次動作的起止點（見圖10）。

任務(wù)時長分析顯示：簡單動作平均耗時1.53秒，復(fù)雜動作平均耗時2.61秒，表明任務(wù)難度與時長正相關(guān)（見圖11）

 
總結(jié)與展望

“Reach&Grasp”數(shù)據(jù)集是首個同時包含HD-sEMG、雙極EMG、運動捕捉與觸覺數(shù)據(jù)的多模態(tài)上肢運動數(shù)據(jù)集。其優(yōu)勢在于：

• 多源同步：所有信號時間對齊，支持傳感器融合研究；
• 任務(wù)豐富：涵蓋16種自然動作，貼近日常生活；
• 標準化格式：采用BIDS結(jié)構(gòu)，便于復(fù)用與擴展。
• 假肢控制：可用于訓(xùn)練基于多模態(tài)信號的意圖識別模型；
• 運動科學(xué)：分析肌肉協(xié)同與關(guān)節(jié)運動關(guān)系；
• 機器人學(xué)習(xí)：作為模仿學(xué)習(xí)或觸覺反饋控制的訓(xùn)練數(shù)據(jù)；
• 觸覺研究：探索不同抓取策略下的力分布模式。

 
研究團隊介紹：

本研究團隊由意大利技術(shù)研究院（IIT）牽頭，聯(lián)合熱那亞大學(xué)（University of Genoa）、比勒費爾德大學(xué)（Bielefeld University）等多所機構(gòu)的研究人員共同完成。團隊核心成員包括Dario Di Domenico、Inna Forsiuk、Marianna Semprini等，專業(yè)背景涵蓋神經(jīng)工程、機器人控制、生物力學(xué)與觸覺傳感等領(lǐng)域。團隊在假肢控制、肌電解碼、多模態(tài)數(shù)據(jù)融合等方面具有豐富經(jīng)驗，曾參與多項歐盟及國家級科研項目（如NeuTouch、iHannes）。依托IIT先進的人形機器人實驗室和神經(jīng)康復(fù)平臺，團隊致力于推動上肢運動理解與智能假肢控制技術(shù)發(fā)展。

原文鏈接：
https://doi.org/10.1038/s41597-025-04552-5

未來可擴展至患者群體（如截肢者、卒中患者），結(jié)合腦電（EEG）或功能性電刺激（FES）等信號，構(gòu)建更全面的神經(jīng)康復(fù)數(shù)據(jù)集。同時，數(shù)據(jù)集也可用于驗證深度學(xué)習(xí)模型在跨被試、跨任務(wù)中的泛化能力。

產(chǎn)品介紹
 

 
聯(lián)系我們

電話: 15920901903
官網(wǎng)：https//www.ruihongan.cn