發布時間：2022-03-29所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘 要 腦機接口是一種變革性的人機交互, 其中基于運動想象 (Motor imagery, MI) 腦電的腦機接口是一類非常重要的腦機交互. 本文旨在探索有效的運動想象腦電特征模式提取方法. 采用在時域、頻域同時具有很高分辨率的希爾伯特 黃變換 (Hilbert-Huang transform, HHT), 進
摘 要 腦機接口是一種變革性的人機交互, 其中基于運動想象 (Motor imagery, MI) 腦電的腦機接口是一類非常重要的腦機交互. 本文旨在探索有效的運動想象腦電特征模式提取方法. 采用在時域、頻域同時具有很高分辨率的希爾伯特 – 黃變換 (Hilbert-Huang transform, HHT), 進而提取自回歸 (Auto regressive, AR) 模型參數并計算運動想象腦電平均瞬時能量, 從而構造特征向量, 最后利用能較好地適應運動想象腦電單次試驗分類的支持向量機 (Support vector machine, SVM) 進行分類. 結果表明在 Trial 的 5.5 ∼ 7.5 s 期間, HHT 特征提取方法平均分類正確率為 81.08 %, 具有良好的適應性; 最高分類正確率為 87.86 %, 優于傳統的小波變換特征提取方法和未經 HHT 的特征提取方法; 在 Trial 的 8 ∼ 9 s 期間, HHT 特征提取方法顯著優于后兩種特征提取方法. 本研究證實了 HHT 對運動想象腦電這一非平穩非線性信號具有很好的特征提取能力, 也再次驗證了運動想象事件相關去同步 (Event-related desynchronization, ERD) 現象, 同時也表明運動想象腦電的腦 – 機交互系統性能與被試想象心理活動的質量密切相關. 本文可望為基于運動想象腦電的在線實時腦機交互控制系統的研究打下堅實的基礎.
關鍵詞 腦機交互控制, 腦機接口, 運動想象, 腦電, 希爾伯特 – 黃變換
直接用思維來控制機器人或假肢裝置而沒有大腦外周神經和肌肉的參與, 這一思想萌芽于 1929 年 Berger 發現腦電 (Electroencephalogram, EEG) 信號之后. 然而, 這方面的真正研究始于 20 世紀 70 年代[1] . 在過去的 40 多年里, 這一新方向已經吸引了許多研究者, 一些實驗已經表明這樣做是可能的, 這就是腦 – 機接口 (Brain-computer interface, BCI)/腦 – 控機器人接口 (Brain-controlled robot interface, BCRI), 該方向已成為國際前沿研究熱點和突破點[2−5] .
腦控是近十多年興起的一種新的控制思想和概念, 在眾多腦機交互控制范式中, 基于運動想象 (Motor imagery, MI) 的腦機接口是一類非常重要的腦 – 機交互策略, 其特點是用戶通過思維 “想” 或 “感覺” (運動知覺回憶和模擬) 相關的腦信號來控制機器人或外部機器, 有別于用戶通過 “看” 或 “聽” (視覺/聽覺注意和選擇) 相關的腦信號與外部設備交互的模式[6] . 然而, 運動想象腦電空間分辨率低 (厘米級)、信噪比低、易受強偽跡的干擾 (如工頻干擾、眼球運動引起的眼電、肌肉運動引起的肌電等) [7−8] . 已有研究也表明, 運動想象腦電具有高度的非平穩性和非線性[9] , 這給提取運動想象腦電的特征模式提出了巨大的挑戰[10] . 這也是基于運動想象腦電的 BCI 尚沒有走出實驗室, 沒有真正意義上的商業產品的主要原因.
迄今為止, 研究者已提出了若干運動想象腦電特征模式提取方法, 如自回歸 (Auto regressive, AR) 模型、自適應自回歸 (Adaptive auto regressive, AAR) 模型[11−12]、小波變換 (Wavelet transform, WT)、小波包變換 (Wavelet package transform, WPT)[13−14] 以及共同空間模式 (Common spatial pattern, CSP)[15] 等特征提取方法. 小波等方法的本質是傅里葉變換, 不能同時在時域和頻域有高的分辨率. CSP 方法被廣泛應用, 該方法在多通道條件下能夠取得良好的效果, 近幾年也有研究基于 CSP 的改進算法應用到少通道情況下, 并取得了較好的分類效果[16] . 上述這些特征提取方法雖然已取得了一定的成果, 但仍然沒有最終解決好運動想象腦電的模式分類問題.
本文針對運動想象腦電信號非平穩非線性的特點, 擬采用在時域、頻域同時具有很高分辨率的希爾伯特 – 黃變換 (Hilbert-Huang transform, HHT)[17−21] , 可望有效地提取運動想象腦電的特征模式, 并利用在 Mu 節律 (8 ∼ 13 Hz) 和 Beta 節律 (13 ∼ 30 Hz) 有顯著表現的事件相關去同步 (Event-related desynchronization, ERD) 現象[22−24] , 由平均瞬時能量和 AR 模型參數構造特征向量, 最后利用支持向量機 (Support vector machine, SVM) 進行模式分類. 本研究可望為進一步深入研究基于運動想象腦電的在線實時腦機交互控制系統打下堅實的基礎.
1 材料和方法
1.1 被試、實驗范式和數據采集
實驗被試: 性別: 女; 年齡: 25 歲; 健康狀況: 良好. 所有的試驗 (Trials) 都在同一天進行, 實驗包括 7 組, 每組有 40 個 Trials, 總共 280 個. 每個 Trial 持續時間為 9 s, 被試在前 2 s 保持放松狀態; t = 2 s 時, 顯示器屏幕呈現 “+” 字型圖案, 同時有提示音提示被試試驗開始, 準備運動想象; t = 3 s 時, 顯示器屏幕中央出現向左或向右的箭頭, 提示被試按提示的箭頭方向想象左、右手的運動. 運動想象腦電采集范式如圖 1 所示. 所有實驗數據采集于 C3、Cz、C4 三個電極, 腦電信號由雙導聯方式記錄, 采樣頻率為 128 Hz. 最終的實驗數據由 140 個訓練樣本和 140 個測試樣本組成, 訓練樣本類別已知. 樣本數據集都是 1 152 × 3 × 140[25] (實驗數據詳見文獻 [25]).
第 2 組數據來自于第 4 次腦 – 機接口競賽 Data sets 2b, 包括 3 個訓練數據集: B0X01T、B0X02T、B0X03T; 2 個測試數據集: B0X04E、B0X05E. 數據采自于左右手二分類實驗[26] .
1.2 數據預處理
已有研究表明, 運動想象誘發的腦電主要在 Mu (8 ∼ 13 Hz) 和 Beta (14 ∼ 30 Hz) 節律段表現顯著[22−24] . 本文首先對原始腦電信號數據進行 8 ∼ 30 Hz 的數字帶通濾波, 采用橢圓濾波器, 通帶截止頻率為 8 ∼ 30 Hz, 阻帶截止頻率為 7 Hz 和 32 Hz, 通帶衰減為 0.5 dB, 阻帶衰減為 50 dB. 然后對帶通濾波后的信號進行線性校正, 目的是消除線性漂移帶來的偽跡.
1.3 希爾伯特− 黃變換
腦機交互控制系統中一個關鍵部分是特征提取, 通過特征提取把能夠表征被試想象任務狀態或活動的特征量提取出來. 腦活動狀態之間差異顯著的特征量可以減小模式識別分類器的錯誤分類率, 從而有效地提高分類的準確率.
希爾伯特 – 黃變換 (HHT) 由美國工程院院士黃鍔所提出[27], HHT 能夠很好地適用于分析非線性非平穩信號. HHT 主要包括兩部分: 1) 經驗模態分解 (Empirical mode decomposition, EMD); 2) Hilbert 譜分析 (Hilbert spectrum analysis, HSA).
經驗模態分解是為了獲得本征模函數 (Intrinsic mode function, IMF), 它具有自適應性、正交性、完備性、IMF 分量的調制特性[28]. EMD 滿足如下兩個條件[29]:
1) 信號極值點的數量與零點數相等或相差 1;
2) 信號的由極大值定義的上包絡和由極小值定義的下包絡的局部均值為 0. EMD 過程[29−30] 如下: 1) 對輸入信號求取所有的極大值點和極小值點. 2) 對極大值點和極小值點采用三次樣條進行擬合, 求上、下包絡的曲線, 計算均值函數, 進而求出待分析信號和均值的差值 h.
3) 考察 h 是否滿足 IMF 條件, 如果滿足, 則把 h 作為第 1 個 IMF; 否則, 對其進行前兩步操作, 直到第 k 步滿足 IMF 條件, 然后求得第 1 個 IMF, 求出原信號與 IMF 的差值 r.
4) 把差值 r 作為待分解的信號, 直到剩余的 r 為單調信號或者只存在一個極點為止, 得到的表達式如下:
1.4 AR 模型參數特征
利用第 1.3 節的 HHT 方法首先對運動想象腦電信號進行經驗模態分解 (EMD), 分解后各階 IMF 如圖 2 所示. 前期實驗分析表明, 前三階 IMF 對分類貢獻最大, 包含 Mu 和 Beta 節律信息, 將其結合起來, 可望能提高分類正確率. 所以對前三階 IMF 采用 Hilbert 變換求取平均瞬時幅值. 本研究使用 3、4、6、8、10、12、16 階 AR 模型分別求取分類正確率, 階次為 6 時正好對應了最高的分類結果. 所以, 最后基于 Burg 算法提取 6 階的 AR 模型系數 AR1, · · · , AR6, 由 C3 和 C4 通道的 AR 模型系數組成 12 維特征向量: {C3AR1, · · · , C3AR6, C4AR1, · · · , C4AR6}.
1.6 支持向量機分類運動想象腦電模式
基于運動想象腦電的腦 – 機接口/腦 – 機交互中: 1) 腦電信號為非線性非平穩信號, 使其線性不可分; 2) 提取的腦電特征和電極組合后, 用于分類的特征向量往往是高維的; 3) 運動想象腦電的單次試驗分類往往是小樣本, 在線腦 – 機交互系統可供學習的樣本往往更少[31] .
支持向量機 (SVM) 是基于統計學習理論的機器學習方法, 在處理分類問題上具有很好的表現. 它利用結構風險最小化理論, 在特征空間中構建最優分割超平面, 盡可能多地將兩類數據點分開, 并使分開的兩類數據點距離分類面最遠; 它可以利用少量支持向量構建判別函數, 適宜小樣本分類問題, 泛化能力強; 此外, 它采用非線性映射方法將低維輸入線性不可分樣本映射到高維特征空間, 使其線性可分, 不需要過多考慮維數對機器學習性能的影響. 因此, SVM 可望能較好地適應運動想象腦電信號特征的單次試驗分類.
相關知識推薦：論文查重都查什么 有什么用
在本研究中, 運動想象腦電數據由 140 個訓練樣本和 140 個測試樣本組成, 訓練樣本和測試樣本的類別標簽已知. 首先用 140 個訓練樣本和樣本標簽訓練模型, 再利用得到的模型對測試樣本進行標簽預測, 最后通過預測標簽和真實標簽對比, 計算分類的正確率.
2 結果
為驗證本文所述方法的有效性, 對第 1 節所述左、右手運動想象腦電數據進行了特征提取和模式分類. 圖 5 (a) 呈現了對未經 HHT 變換提取得到的特征進行分類的結果, 在該種情況下, 由 AR 模型系數和平均能量構造特征向量, 然后利用 SVM 對測試集進行分類. 測試集在 5.5 ∼ 7.5 s 區間的平均分類正確率是 67.89 %, 最高分類正確率是 77.86 %; 在 8 ∼ 9 s 區間的平均分類正確率是 61.25 %, 最高分類正確率是 63.57 %.
圖 5 (b) 呈現了利用小波變換提取特征的分類曲線. 實驗采樣頻率為 128 Hz, 根據香農采樣定理, 小波變換初始頻率為 64 Hz, 選用 db4 小波對數據進行 3 層分解, 分解后頻率范圍分別為 0 ∼ 8 Hz、8 ∼ 16 Hz、16 ∼ 32 Hz、32 ∼ 64 Hz 四個頻帶. 選取 Mu 節律的信號 8 ∼ 16 Hz 進行能量計算, 然后, 構造基于 AR 模型系數和平均能量的特征向量, 最后采用 SVM 對測試集進行分類. 測試集在 5.5 ∼ 7.5 s 區間的平均分類正確率是 78.12 %, 最高分類正確率是 83.57 %; 在 8 ∼ 9 s 區間的平均分類正確率是 56.96 %, 最高分類正確率是 65 %.
圖 5 (c) 呈現了利用 HHT 變換后提取 AR 模型系數并計算平均能量, 再構造特征向量, 然后基于 SVM 對測試集進行分類的結果. 在該種情況下, 測試集在 5.5 ∼ 7.5 s 區間的平均分類正確率是 81.08 %, 最高分類正確率是 87.86 %; 在 8 ∼ 9 s 區間的平均分類正確率是 71.33 %, 最高分類正確率是 84.29 %.
表 1 呈現了在無 HHT、小波變換 (WT)、希爾伯特 – 黃變換 (HHT) 三種特征提取方法下, 基于 SVM 在 3 ∼ 4 s、5.5 ∼ 7.5 s 和 8 ∼ 9 s 分類時間段的平均分類正確率和最高分類正確率.
表 2 呈現了第 4 次腦 – 機接口競賽數據 Data sets 2b 的分類正確率. 表 2 中, 1T、2T、3T 是訓練集, 4E 和 5E 是測試集. 其中訓練集 2T 可能存在數據錯誤, 導致分類正確率均為 50 %, 其他兩組有較高的分類正確率, 說明 HHT 方法應用在左、右手運動想象分類中效果良好.
此外, 本文針對運動想象全部時間過程的平均能量特征, 采用無 HHT、小波變換 (WT)、希爾伯特 – 黃變換 (HHT) 特征提取方法的分類正確率分別是 57.44 %、60.7 %、62.86 %.
3 討論
基于運動想象腦電的腦 – 機交互控制接口是一類非常重要的腦 – 機接口, 然而由于運動想象腦電具有高度的非平穩性和非線性, 這使得表征運動想象的腦電特征模式難于提取, 分類難度大. 迄今為止, 研究者已提出了若干運動想象腦電特征模式提取方法[11−15] , 但仍然沒有最終解決好這個模式分類問題. 在運動想象腦電的模式中, 事件相關去同步 (ERD) 已被作為一個腦 – 機交互控制信號[22−23] , 然而運動想象腦電模式也與被試的想象心理活動質量緊密相關.
本文腦電采用雙導聯方式記錄. 該方法不使用無關參考電極, 兩個活動電極互為參考, 兩個電極的差值即記錄的數據, 相對于單極導聯法沒有外加電極的干擾, 但兩電極之間距離需要在 3 ∼ 6 cm 以上. 而腦電采集的單極導聯法中放大器的一個輸入端接活動電極 (即記錄電極), 另一端一般置于耳垂或乳突 (即參考電極), 能夠記錄活動電極下腦電位變化的絕對值, 其波幅較高且較穩定. 本文所用到的數據注重電極之間的差值而不是單個電極幅值, 故采用雙極導聯法.
在本文的研究中, 在 Trial 的 5.5 ∼ 7.5 s 分類期間, 希爾伯特 – 黃變換 (HHT) 特征提取與小波變換 (WT) 特征提取相比, 最高分類正確率提高了 4.29 個百分點, 平均分類正確率也提高了 2.96 個百分點; HHT 特征提取與無 HHT 特征提取相比, 最高分類正確率提高了 13.19 個百分點, 平均分類正確率提高了 10 個百分點. 在該期間, 小波變換 (WT) 特征提取也比無 HHT 特征提取的分類性能好. 這些結果與已有研究相比[25, 32−33] , 具有特色和可比性.
此外, 在 Trial 的 8 ∼ 9 s 分類期間, 希爾伯特 – 黃變換 (HHT) 特征提取與小波變換 (WT) 特征提取相比, 最高分類正確率提高了 19.29 個百分點, 平均分類正確率也提高了 14.37 個百分點; HHT 特征提取與無 HHT 特征提取相比, 最高分類正確率提高了 20.72 個百分點, 平均分類正確率提高了 10.08 個百分點.
上述這些結果表明, HHT 在基于運動想象腦電特征模式提取中優于小波變換 (WT) 特征提取方法, 更優于無 HHT 特征提取方法. 盡管與傅里葉變換 (Fourier transformation, FT) 相比, 小波變換 (WT) 能通過伸縮和平移運算對腦電信號進行多尺度細化分析, 可以從運動想象腦電信號中提取對分類有用的信息, 但小波方法本質上是傅里葉變換, 不能同時在時域和頻域有高的分辨率. 然而希爾伯特 – 黃變換 (HHT) 在時域和頻域同時具有很高的分辨率, 這可能是該方法優于 WT 方法和無 HHT 的主要原因. 在三種特征提取方法中, 分類性能較差的是無 HHT 方法, 這也表明了在基于運動想象腦電的腦 – 機交互系統中, 表征運動想象的腦電模式特征提取極為重要且關鍵, 必須采取有效的特征提取方法, 否則分類正確率將受到很大的限制.
除上述之外, 在 Trial 的 3 ∼ 4 s 分類期間, 三種特征提取方法的分類效果均不好, 可能因為在 3 ∼ 4 s 期間為運動想象執行的初始階段, 被試心理活動有一個滯后和適應過程, 尚沒有形成較好的運動想象心理活動. 但在隨后的 5.5 ∼ 7.5 s 期間, 被試運動想象活動趨于穩定, 質量較好, 三種特征提取方法的分類正確率均提高非常大, 其中最好的是 HHT 方法, 其次是 WT 方法. 在 8 ∼ 9 s 運動想象執行的最后期間, 被試運動想象心理活動質量有所降低, 分類正確率有下降趨勢. 這可能在一定程度上表明了在 Trial 期間, 分類正確率隨時間而波動的原因. 此外, 在 0 ∼ 2 s 期間, 要求被試心理處于放松空閑的基線狀態, 在 2 ∼ 3 s 期間, 為被試運動想象準備期間, 在這兩個期間, 三種方法的分類正確率在機會概率水平. 綜合以上, 說明基于運動想象腦電的腦 – 機交互系統的性能還與被試想象心理活動的質量緊密相關.
已有研究把 HHT 應用到運動想象任務實驗, 實驗中以 C3 和 C4 通道瞬時能量值為特征分類左右手和腳運動想象, 并取得了良好的效果[34] . 本文在此基礎上, 求取一定時間段的 AR 系數特征向量和平均瞬時能量值特征, 然后把兩個特征相結合進行分類. 實驗結果表明分類正確率有了一定的提高.
HHT 算法側重于提取非平穩非線性的腦電信號中具有可分類特征信息的瞬時幅值, 而近年來廣泛應用的 CSP 算法能夠構造出適用于分類的空間濾波器, 從而提高分類效果, 為此, 可以考慮將 HHT 和 CSP 進行互補以提高分類正確率.
最后, 已有研究表明運動想象和實際運動共享某些類似的神經機制[34−37] , 這也是基于運動想象腦 – 機交互的神經科學基石. 其中, 被試在執行運動想象心理活動期間, 發生了事件相關去同步 (ERD) 現象, 并利用這一現象實現運動想象腦 – 機交互控制[22−23, 38] . 本研究通過希爾伯特 – 黃變換 (HHT), 計算了左、右手運動想象腦電的能量變化, 由圖 3 (a) 可知, 從 4 s 開始左手 C3 通道的能量值開始顯著大于 C4 通道, 而圖 3 (b) 中右手的 C3 能量值小于 C4 通道, 這也再次證實了被試在運動想象期間發生了事件相關去同步 (ERD) 這一現象.
4 結論
運動想象腦電的特征提取和模式分類面臨巨大的挑戰, 其中最根本的原因之一是難于提取到能夠表征運動想象心理活動的腦電特征. 本文基于在時域和頻域同時具有良好局部化性質的 HHT 提取表征運動想象腦電的 AR 模型參數特征和平均瞬時能量特征, 采用能夠較好地適應運動想象腦電信號單次試驗分類方法的 SVM. 結果表明, 在 Trial 的 5.5 ∼ 7.5 s 分類期間, HHT 特征提取方法平均分類正確率為 81.08 %, 具有良好的適應性; 最高分類正確率為 87.86 %, 遠遠高于未經 HHT 處理得到的分類正確率, 提高了近十個百分點, 也優于小波變換特征提取方法; 尤其在 Trial 的 8 ∼ 9 s 分類期間, HHT 特征提取方法顯著優于后兩種特征提取方法. 本研究證實了希爾伯特 – 黃變換 (HHT) 能夠有效地提取表征運動想象腦電的特征模式, 也再次證實了運動想象 ERD 現象, 同時也表明基于運動想象腦電的腦 – 機接口正確分類率與被試想象心理活動的質量緊密相關.
在本研究的基礎上, 我們進一步的研究工作是: 1) 繼續完善本研究所采用的方法, 并把這些方法集成到在線實時的基于運動想象腦電的腦 – 機交互控制系統中; 2) 在未來的在線實時系統中, 引入優化的先進神經反饋技術 — 所想即所得, 以實時調節被試/用戶的腦電活動, 進一步提高正確識別率和系統的響應速度, 從而提高系統的性能; 3) 采用三邊協同自適應機器學習算法適應腦電的變異性, 減輕被試的訓練負擔.——論文作者：孫會文 1 伏云發 1 熊 馨 1 楊 俊 1 劉傳偉 1 余正濤
SCISSCIAHCI
