5571
0
2026-02-24
2026-03-02
近日，團(tuán)隊(duì)2024級(jí)研究生胡友等在邱麗娜老師和潘家輝老師的共同指導(dǎo)下，在中科院二區(qū)期刊《IEEE Journal of Biomedical and Health Informatics》（JCR Q1, 中科院大類(lèi)學(xué)科醫(yī)學(xué)二區(qū)TOP, IF: 6.7）上發(fā)表題為“A Multi-Scale Attention-based Reconstruction Fusion Network for Motor Imagery Classification” 的研究論文。該論文自2025年9月23日提交，于2026年2月22日被正式接收。
1. 研究背景
深度學(xué)習(xí)在運(yùn)動(dòng)想象腦電（MI-EEG）解碼領(lǐng)域取得了顯著進(jìn)展。為了捕獲信號(hào)的多尺度時(shí)空特征，多尺度卷積網(wǎng)絡(luò)及其注意力融合機(jī)制被廣泛應(yīng)用。然而，現(xiàn)有方法在多尺度特征融合時(shí)仍面臨冗余度高、跨尺度交互不足的瓶頸。此外，在時(shí)序建模方面，雖然引入Transformer等自注意力架構(gòu)彌補(bǔ)了傳統(tǒng)CNN在全局長(zhǎng)序列建模上的缺陷，但現(xiàn)有方法往往忽略了對(duì)MI-EEG尤為關(guān)鍵的局部時(shí)間結(jié)構(gòu)。針對(duì)上述局限性，本文提出了一個(gè)多尺度注意力重構(gòu)融合網(wǎng)絡(luò)。
本論文的主要貢獻(xiàn)包括：
（1）注意力重構(gòu)融合策略：結(jié)合了通道注意力與 “特征分離-重構(gòu)” 機(jī)制，增強(qiáng)特征作用效益。
（2）局部-全局時(shí)間編碼器：將基于窗口的局部片段聚合與 Transformer 編碼器相結(jié)合，捕捉到極具區(qū)分度的短暫局部振蕩（瞬態(tài)變化）和大腦運(yùn)動(dòng)想象過(guò)程中的長(zhǎng)程演變（持續(xù)動(dòng)態(tài)）。
2. 方法和結(jié)果
本文提出的 MSARFNet 是一種基于多尺度注意力的重構(gòu)融合網(wǎng)絡(luò)，主要由三個(gè)核心模塊組成：多尺度時(shí)空卷積模塊（MSTC）、基于注意力的重構(gòu)融合模塊（ARF）以及局部-全局時(shí)間編碼器（LGTE）。其整體架構(gòu)如圖 1所示。MSTC 利用具有不同感受野的卷積核提取多尺度時(shí)間表征，并執(zhí)行空間卷積以捕獲通道級(jí)別的依賴(lài)關(guān)系。ARF 通過(guò)通道注意力加權(quán)與特征分離-重構(gòu)機(jī)制對(duì)多尺度表征進(jìn)行精細(xì)化處理，二者協(xié)同提升了特征的判別力，并促進(jìn)了跨尺度分支間有效的特征交互。LGTE 首先利用時(shí)間卷積將時(shí)間感受野與預(yù)設(shè)的窗口尺度對(duì)齊，從而實(shí)現(xiàn)對(duì)窗口級(jí)局部上下文的有效提?。浑S后，該模塊引入跨窗口交互機(jī)制，以凸顯相鄰窗口間的時(shí)序變化。最終，將增強(qiáng)后的表征輸入至 Transformer 編碼器中，以完成對(duì)全局時(shí)間依賴(lài)關(guān)系的建模。
圖 1 多尺度注意力重構(gòu)融合網(wǎng)絡(luò)（MSARFNet）
MSARFNet在兩個(gè)公開(kāi)的運(yùn)動(dòng)想象數(shù)據(jù)集（BCI-IV 2a和2b）上進(jìn)行被試依賴(lài)實(shí)驗(yàn)驗(yàn)證，分別獲得84.64%和87.96%的準(zhǔn)確率，具體對(duì)比結(jié)果如表2所示。
表2 MSARFNet在BCI-IV 2a和2a上的對(duì)比實(shí)驗(yàn)。
3. 總結(jié)
本文提出了一種用于運(yùn)動(dòng)想象腦電（MI-EEG）解碼的多尺度注意力重構(gòu)融合網(wǎng)絡(luò)（MSARFNet）。該模型通過(guò)MSTC模塊提取多尺度節(jié)律特征，利用ARF模塊抑制非主導(dǎo)信息并強(qiáng)化跨尺度交互，結(jié)合LGTE模塊協(xié)同捕獲局部時(shí)間上下文與全局時(shí)間依賴(lài)，有效驗(yàn)證了該架構(gòu)設(shè)計(jì)的合理性與先進(jìn)性。在未來(lái)的研究將聚焦于三個(gè)核心方向：開(kāi)發(fā)更輕量且自適應(yīng)的時(shí)間建模策略；引入生成對(duì)抗網(wǎng)絡(luò)或擴(kuò)散模型等先進(jìn)數(shù)據(jù)合成技術(shù)；以及深度融合fNIRS或EMG等多模態(tài)神經(jīng)生理信號(hào)，以彌補(bǔ)單一模態(tài)的不足并全面提升解碼系統(tǒng)的魯棒性。
