首頁 > 綜合 > 正文

CNN+LSTM--一種運(yùn)動(dòng)想象分類新模型

2023-02-20 17:06:02來源：騰訊云  

說到運(yùn)動(dòng)想象（motor imagenation, MI), 我們都很熟悉，它是指?jìng)€(gè)體在心理上模擬給定動(dòng)作時(shí)的動(dòng)態(tài)狀態(tài)。如何通過運(yùn)動(dòng)想象的腦電信號(hào)來分類個(gè)體的心理意圖，一直是研究人員關(guān)注的重點(diǎn)，MI信號(hào)可以用于控制外部設(shè)備，如大腦控制的機(jī)器人、大腦控制的外骨骼、自動(dòng)駕駛汽車等， 因此提高M(jìn)I信號(hào)的分類準(zhǔn)確性是極其有意義的。

腦電圖（EEG）的信噪比較低，因此如何從腦電圖信號(hào)中提取特征并正確分類是BCI技術(shù)最重要的部分。傳統(tǒng)上，通用空間模式（CSP）和支持向量機(jī)（SVM）用于對(duì)腦電圖信號(hào)進(jìn)行分類，并實(shí)現(xiàn)良好的分類結(jié)果。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）備受關(guān)注。到目前為止，已經(jīng)為BCI 范式提出了各種具有不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)。


【資料圖】

本文通過將CNN和LSTM組合在一起，提出了一個(gè)新的功能融合深度學(xué)習(xí)框架。其次，該算法同時(shí)提取腦電圖信號(hào)的時(shí)間和空間特征，提高了精度， 第三，該網(wǎng)絡(luò)提取了中間層特征，以防止特征丟失。

數(shù)據(jù)集

本文的數(shù)據(jù)來自BCI Competition IV，“BCI 競(jìng)賽IV”的目標(biāo)是驗(yàn)證腦機(jī)接口 (BCI) 的信號(hào)處理和分類方法。與過去的 BCI 競(jìng)賽相比，解決了與實(shí)際 BCI 系統(tǒng)高度相關(guān)的新的挑戰(zhàn)性問題，例如（數(shù)據(jù)集鏈接已附上）：

?無試驗(yàn)結(jié)構(gòu)的連續(xù)腦電圖分類（數(shù)據(jù)集 1）。

?受眼球運(yùn)動(dòng)偽影影響的 EEG 信號(hào)分類（數(shù)據(jù)?集 2）。

?MEG 手腕運(yùn)動(dòng)方向的分類（數(shù)據(jù)集 3）。

?ECoG 中需要細(xì)粒度空間分辨率的歧視（數(shù)據(jù)集 4）。

簡(jiǎn)要介紹一下這四個(gè)數(shù)據(jù)集：

數(shù)據(jù)集 1： ?motor imagery, uncued classifier application?

由 柏林 BCI 組提供：Technische Universit?t Berlin（機(jī)器學(xué)習(xí)實(shí)驗(yàn)室）和 Fraunhofer FIRST（智能數(shù)據(jù)分析組）（ Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);評(píng)估數(shù)據(jù)是連續(xù)的腦電圖，其中還包含空閑狀態(tài)的時(shí)間段[64個(gè)EEG通道（0.05-200Hz），1000Hz采樣率，2個(gè)類別（+空閑狀態(tài)），7個(gè)科目]

數(shù)據(jù)集 2a： ?4 級(jí)運(yùn)動(dòng)圖像? 由 格拉茨科技大學(xué)知識(shí)發(fā)現(xiàn)研究所 （腦機(jī)接口實(shí)驗(yàn)室 ，（Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運(yùn)動(dòng)意象（左手、右手、腳、舌頭） [22 個(gè)腦電圖通道（0.5-100Hz；陷波濾波器），3 個(gè)EOG 通道，250Hz 采樣率，4 個(gè)類別，9 個(gè)科目]

數(shù)據(jù)集 2b: ?motor imagery?由 格拉茨科技大學(xué)知識(shí)發(fā)現(xiàn)研究所 （腦機(jī)接口實(shí)驗(yàn)室 ，（Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運(yùn)動(dòng)意象（左手，右手） [3 個(gè)雙極腦電圖通道（0.5-100Hz；陷波濾波），3 個(gè)EOG 通道，250Hz 采樣率，2 類，9 名受試者]

數(shù)據(jù)集 3： 由 弗萊堡阿爾伯特路德維希大學(xué) 腦機(jī)接口計(jì)劃、弗萊堡伯恩斯坦計(jì)算神經(jīng)科學(xué)中心 和 圖賓根大學(xué)醫(yī)學(xué)心理學(xué)和行為神經(jīng)生物學(xué)研究所提供（ Stephan Waldert , Carsten Mehring , HubertPreissl , Christoph Braun )該數(shù)據(jù)集包含定向調(diào)制的低頻 MEG 活動(dòng)，這些活動(dòng)是在受試者在四個(gè)不同方向上進(jìn)行手腕運(yùn)動(dòng)時(shí)記錄的。[10個(gè)MEG通道（過濾到0.5-100Hz），400Hz采樣率，4個(gè)班級(jí)，2個(gè)科目]

數(shù)據(jù)集 4： 《ECoG 中的手指運(yùn)動(dòng)》由 西雅圖華盛頓大學(xué)物理和醫(yī)學(xué)系( Kai J. Miller ) 和 紐約州衛(wèi)生部沃茲沃斯中心 ( Gerwin Schalk ) 提供 個(gè)人屈曲期間的 ECoG 數(shù)據(jù)五個(gè)手指；使用數(shù)據(jù)手套獲取的運(yùn)動(dòng)。 [48 - 64 ECoG 通道（0.15-200Hz），1000Hz 采樣率，5 個(gè)類別，3 個(gè)科目]

融合模型

卷積神經(jīng)網(wǎng)絡(luò)CNN已成為最受歡迎的基于深度學(xué)習(xí)的網(wǎng)絡(luò)作品，用于在幾個(gè)不同任務(wù)中學(xué)習(xí)功能。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法不同，CNN不需要手動(dòng)設(shè)計(jì)功能，它從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)抽象特征進(jìn)行分類，從而避免丟失有用信息。與通常有兩個(gè)獨(dú)立步驟（包括特征學(xué)習(xí)和分類）的經(jīng)典框架相比，CNN可以學(xué)習(xí)特征，并同時(shí)由多層神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。

LSTM通常用于處理時(shí)間序列的非線性特征。LSTM的主要特點(diǎn)是存在三個(gè)門：忘記門、存儲(chǔ)單元和輸出門，這極大地提高了LSTM處理時(shí)間信息的能力。

（ps: Conv1D 不代表卷積核只有一維,也不代表被卷積的特征只有一維，而是指卷積的方向是一維的；flatten可以理解為把數(shù)據(jù)扯成一條）

由上述的描述我們可知，CNN網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)可以分別提取空間和時(shí)間特征。因此，本文提出了一種同時(shí)提取時(shí)空特征的特征融合網(wǎng)絡(luò)方法。有兩種網(wǎng)絡(luò)結(jié)構(gòu)：并行結(jié)構(gòu)和串行結(jié)構(gòu)。與串行結(jié)構(gòu)相比，并行結(jié)構(gòu)同時(shí)處理原始數(shù)據(jù)，這可以有效地從原始數(shù)據(jù)中提取更多的形成，并提高M(jìn)I腦電圖信號(hào)的分類精度。本文采取了并行結(jié)構(gòu)，基于腦電圖的時(shí)空特征，構(gòu)建了一個(gè)CNN-LSTM并行結(jié)構(gòu)模型，如上圖所示， CNN由一個(gè)輸入層、一個(gè)一維卷積層、一個(gè)可分離的卷積層和2個(gè)扁平層組成。LSTM由輸入層、LSTM層和扁平層組成。最后，這兩個(gè)部分被歸類為完全連接的層。除此之外，這個(gè)混合模型使用直系線性單元（ReLU）激活和批量歸一化（BN）來規(guī)范CNN中的激活函數(shù)。激活函數(shù)tanh用于LSTM。為了幫助規(guī)范模型，我們?cè)诿繉又惺褂胐rop out（隨機(jī)丟掉一些神經(jīng)元），并將drop out設(shè)置為0.5，以幫助防止在小樣本量訓(xùn)練時(shí)過度擬合。

將實(shí)驗(yàn)結(jié)果與其他論文進(jìn)行比較，包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、濾波器庫時(shí)空卷積網(wǎng)絡(luò)（FBSF-TSCNN）[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6]，獲得如上結(jié)果?？梢钥闯觯疚牡乃惴ㄈ〉昧俗罴研Ч?。此外，F(xiàn)FCL在所有九個(gè)受試者中的準(zhǔn)確性一直優(yōu)于EEGNet。

結(jié)論

本文提出了一種基于CNN和LSTM網(wǎng)絡(luò)融合多級(jí)空間-時(shí)間特征的腦電圖分類算法。提取和融合了空間特征、時(shí)間特征和中間層特征。它克服了傳統(tǒng)機(jī)器學(xué)習(xí)算法的缺點(diǎn)，即無法人工調(diào)參。結(jié)果表明，與單個(gè)特征相比，融合特征具有更強(qiáng)的分離性和更高的分類精度。此外，即使在嘈雜的數(shù)據(jù)集上，融合特征的準(zhǔn)確性也高于其他算法，這表明使用融合特征的算法可以提取更多信息進(jìn)行分類，并且對(duì)不同主體具有很強(qiáng)的適應(yīng)性?？傊狙芯恐刑岢龅乃惴梢詮哪X電圖信號(hào)中提取具有更強(qiáng)分離性的時(shí)空信息，并通過集成中層特征來提高M(jìn)I腦電圖信號(hào)的交流，這為腦電圖信號(hào)分類研究提供了新的想法。

參考文獻(xiàn)

[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.

[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. [3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). [4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. [5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. [6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！

標(biāo)簽： 編程算法 機(jī)器學(xué)習(xí) 深度學(xué)習(xí) 人工智能

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀