4713
0
2026-03-22
2026-03-22
論文發(fā)表于Expert Systems With Applications（中科院一區(qū)，IF=7.5），題目為《Dynamic collaborative evolutionary network: A novel spatio-temporal feature extraction framework for EEG emotion recognition》。
河北大學(xué)的劉帥奇教授為此文第一作者。
論文鏈接：https://www.sciencedirect.com/science/article/pii/S0957417425032695
代碼鏈接：https://github.com/cvmdsp/DCENet
論文概要
情緒識(shí)別是腦機(jī)接口領(lǐng)域的研究方向之一，旨在從大腦的電生理活動(dòng)中解碼人的內(nèi)在情感狀態(tài)。而現(xiàn)有情緒識(shí)別方法面臨兩個(gè)局限性，一方面依賴于固定的物理連接或靜態(tài)拓?fù)潢P(guān)系，難以有效表示非歐幾里得空間特征。另一方面，時(shí)空特征提取往往是獨(dú)立進(jìn)行的。這種缺乏時(shí)空特征協(xié)同機(jī)制的情況，導(dǎo)致細(xì)粒度情感表征能力不足。
為此，本文提出了一種基于圖感知增強(qiáng)與全局卷積Transformer的動(dòng)態(tài)協(xié)同進(jìn)化網(wǎng)絡(luò)（DCENet）。DCENet通過構(gòu)建圖感知增強(qiáng)（GAE）模塊，利用格蘭杰因果關(guān)系構(gòu)建電極間的動(dòng)態(tài)功能連接圖，提取并增強(qiáng)具有因果關(guān)系的空間關(guān)鍵特征。同時(shí)，DCENet構(gòu)建了全局卷積Transformer（GCT）模塊，該模塊利用了Transformer的全局建模優(yōu)勢(shì)和與卷積操作的局部感知優(yōu)勢(shì)，以捕獲不同尺度的時(shí)間特征。此外，DCENet通過局部差分融合（LDF）模塊自適應(yīng)融合時(shí)空特征，實(shí)現(xiàn)情感類別的跨域特征對(duì)齊和特征對(duì)齊，協(xié)同進(jìn)化具有更細(xì)粒度信息的情感表示特征。
文章實(shí)驗(yàn)結(jié)果表明，DCENet模型在三個(gè)公開數(shù)據(jù)集（SEED，SEED-IV，MPED）上的準(zhǔn)確性方面由于現(xiàn)有方法。
研究背景
近年來，隨著深度學(xué)習(xí)的快速發(fā)展，研究人員越來越多地將深度學(xué)習(xí)模型應(yīng)用于基于EEG的情緒識(shí)別任務(wù)。盡管基于EEG的情緒識(shí)別研究已取得顯著進(jìn)展，但現(xiàn)有方法難以有效地建模大腦活動(dòng)的復(fù)雜時(shí)空動(dòng)態(tài)特性。
在空間層面，大多數(shù)模型依賴于根據(jù)電極物理坐標(biāo)預(yù)先定義的靜態(tài)連接圖。這種基于解剖距離的固定拓?fù)洌鲆暳瞬煌X區(qū)在情緒加工中實(shí)際的、隨時(shí)間變化的功能性因果連接，導(dǎo)致無法準(zhǔn)確表征大腦網(wǎng)絡(luò)的非歐幾里得空間的動(dòng)態(tài)特征。
在時(shí)間層面，許多主流方法往往將時(shí)序特征與空間特征進(jìn)行分離提取或簡(jiǎn)單融合，缺乏有效的協(xié)同學(xué)習(xí)機(jī)制。這種處理方式難以捕捉情緒產(chǎn)生過程中，大腦時(shí)空模式之間緊密的耦合與共演化關(guān)系，從而限制了模型對(duì)細(xì)粒度、差異化情感狀態(tài)的表征能力。
因此，如何設(shè)計(jì)一個(gè)能夠統(tǒng)一建模大腦動(dòng)態(tài)功能連接，實(shí)現(xiàn)時(shí)空特征深度協(xié)同與自適應(yīng)融合的框架，提升EEG情緒識(shí)別模型性能與泛化能力，是文章所提出的DCENet旨在解決的核心問題。
方法
DCENet使用雙支路并行結(jié)構(gòu)，由三個(gè)核心模塊組成：GAE模塊，GCT模塊，LDF模塊，整體框架圖如下。
（1）圖感知增強(qiáng)（GAE）模塊
GAE模塊旨在突破基于固定物理距離的靜態(tài)連接局限。GAE模塊采用格蘭杰因果分析，對(duì)輸入的EEG序列動(dòng)態(tài)構(gòu)建鄰接矩陣，來評(píng)估電極之間的因果關(guān)系，形成更符合神經(jīng)信號(hào)傳遞邏輯的動(dòng)態(tài)功能連接圖。在此基礎(chǔ)上，通過圖卷積網(wǎng)絡(luò)（GCN） 在此動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)上進(jìn)行空間特征提取。
為了增強(qiáng)關(guān)鍵情感特征的表征，抑制無關(guān)信號(hào)干擾，作者設(shè)計(jì)了感知增強(qiáng)注意力機(jī)制（PEAM）。該機(jī)制并行執(zhí)行標(biāo)準(zhǔn)差池化、平均池化與最大池化，通過多視圖特征壓縮有效抑制噪聲、提高信噪比，并生成雙權(quán)重注意力圖對(duì)特征進(jìn)行自適應(yīng)調(diào)制，從而優(yōu)化網(wǎng)絡(luò)效率。GAE模塊結(jié)構(gòu)圖如下所示。
（2）全局卷積Transformer（GCT）模塊
GCT模塊改進(jìn)了Transformer結(jié)構(gòu)，模塊使用了Transformer的多頭自注意力機(jī)制，以有效建模全局時(shí)間上下文關(guān)系。此外，該模塊將標(biāo)準(zhǔn)的前饋網(wǎng)絡(luò)替換為一個(gè)多尺度卷積前饋層。該層使用兩個(gè)并行的一維卷積分支（核尺寸分別為3和5），對(duì)注意力輸出進(jìn)行并行處理，以同時(shí)捕獲不同時(shí)間粒度下的局部動(dòng)態(tài)特征。隨后，通過Hadamard積融合兩支路輸出，再與原始輸入進(jìn)行殘差連接與層歸一化，最終輸出兼具全局依賴與多尺度局部細(xì)節(jié)的增強(qiáng)時(shí)序特征。其模塊如下所示。
（3）局部差分融合（LDF）模塊與損失函數(shù)
LDF模塊采用層級(jí)自適應(yīng)加權(quán)融合。首先，對(duì)GAE和GCT兩層輸出的空間、時(shí)序特征分別進(jìn)行第一級(jí)融合，提煉多層次表征。然后進(jìn)行第二級(jí)融合，通過Softmax歸一化的可學(xué)習(xí)權(quán)重動(dòng)態(tài)平衡時(shí)空貢獻(xiàn)。此外，模塊引入局部子域差異（LSD）損失函數(shù)，該損失在情感類別層面上，通過計(jì)算類內(nèi)與類間樣本在特征空間中的分布距離，使模型縮小跨被試同類樣本的距離，同時(shí)拉大不同類樣本的邊界，實(shí)現(xiàn)細(xì)粒度域適應(yīng)。總損失函數(shù)整合了LSD損失函數(shù)與分類交叉熵（CE）損失函數(shù)。模塊結(jié)構(gòu)詳見上文整體框架圖。
實(shí)驗(yàn)結(jié)果
論文使用了三個(gè)公開數(shù)據(jù)集SEED，SEED-IV和MPED，數(shù)據(jù)集信息如下表所示。實(shí)驗(yàn)采用留一法交叉實(shí)驗(yàn)（LOSO）來評(píng)估模型性能。所有實(shí)驗(yàn)均使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01，Dropout層設(shè)置參數(shù)為0.5，以防止過擬合。
（1）SEED數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
在SEED數(shù)據(jù)集上，DCENet在跨被試識(shí)別任務(wù)中，平均準(zhǔn)確率達(dá)到87.55%。在跨實(shí)驗(yàn)時(shí)段識(shí)別任務(wù)中，平均準(zhǔn)確率達(dá)到90.72%。對(duì)比論文中進(jìn)行對(duì)比的十五種方法，該模型在兩個(gè)任務(wù)上均取得了最優(yōu)性能。
（2）SEED-IV數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
在SEED-IV數(shù)據(jù)中，由于分類任務(wù)從SEED數(shù)據(jù)集的三分類變?yōu)樗姆诸?，因此各模型的?zhǔn)確率均有所下降。而DCENet在該數(shù)據(jù)集取得了跨被試73.04%和跨實(shí)驗(yàn)時(shí)段77.21%的平均準(zhǔn)確率，依然在同類方法中保持領(lǐng)先。
（3）MPED數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
在MPED數(shù)據(jù)集中，由于所有受試者的數(shù)據(jù)都是只采集了一輪，因此無法進(jìn)行跨實(shí)驗(yàn)時(shí)段的實(shí)驗(yàn)，論文換成了跨被試和跨實(shí)驗(yàn)視頻的實(shí)驗(yàn)。而該數(shù)據(jù)集是一個(gè)七分類任務(wù)，因此所有模型的性能對(duì)比前兩個(gè)數(shù)據(jù)集有明顯的下降。DCENet在跨被試任務(wù)的平均準(zhǔn)確率為27.72%，在跨實(shí)驗(yàn)視頻任務(wù)的平均準(zhǔn)確率為42.31%。雖然性能一般，但是仍優(yōu)于其他的模型方法。
（4）跨數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
為檢驗(yàn)?zāi)Ｐ偷挠蜻m應(yīng)能力，論文進(jìn)行了跨數(shù)據(jù)集遷移實(shí)驗(yàn)。當(dāng)以SEED為源域，SEED-IV為目標(biāo)域（“SEED → SEED-IV”）時(shí)，DCENet的平均準(zhǔn)確率為57.83%；在反向遷移（“SEED-IV → SEED”）中，DCENet的準(zhǔn)確率為54.41%。優(yōu)于SVM、DGCNN等其他方法。該結(jié)果表明LDF模塊及LSD損失函數(shù)的有效性，能夠在一定程度上緩解不同實(shí)驗(yàn)范式與數(shù)據(jù)分布之間的差異，實(shí)現(xiàn)更具泛化性的特征對(duì)齊。
（5）消融實(shí)驗(yàn)結(jié)果
消融實(shí)驗(yàn)證實(shí)了各核心模塊的必要性：
移除GAE模塊（使用靜態(tài)物理連接替代動(dòng)態(tài)因果圖）導(dǎo)致在SEED和SEED-IV數(shù)據(jù)集上的性能下降約5%，表明構(gòu)建動(dòng)態(tài)腦功能連接起到了重要作用。
移除GCT模塊或LDF模塊亦會(huì)造成準(zhǔn)確率損失約2-3%。此外，將LDF中的自適應(yīng)融合替換為簡(jiǎn)單拼接或求和操作，以及移除局部子域差異（LSD）損失函數(shù)，均會(huì)導(dǎo)致模型泛化性能明顯降低，這共同證明了本文所提出的協(xié)同進(jìn)化機(jī)制與細(xì)粒度域適應(yīng)策略的有效性。
結(jié)論
本研究提出了一種新穎的時(shí)空特征動(dòng)態(tài)協(xié)同進(jìn)化網(wǎng)絡(luò)（DCENet）。該網(wǎng)絡(luò)通過構(gòu)建基于格蘭杰因果的動(dòng)態(tài)圖感知（GAE）模塊、融合多尺度時(shí)序建模的全局卷積Transformer（GCT），以及細(xì)粒度域適應(yīng)的局部差分融合（LDF）模塊，DCENet一定程度上克服了靜態(tài)腦連接假設(shè)與時(shí)空特征割裂的局限。實(shí)驗(yàn)表明，對(duì)比其他主流方法，該模型在SEED、SEED-IV和MPED數(shù)據(jù)集上實(shí)現(xiàn)了最優(yōu)性能，驗(yàn)證了所提框架在EEG情緒識(shí)別中的有效性與泛化能力。
撰稿人：龍柏成
審稿人：李景聰
