近期，深圳大学医学部生物医学工程学院张治国和梁臻团队从主观体验情绪状态分析和客观呈现视频刺激效应分析的角度研究了大脑脑电微状态表征中涉及的潜在情绪相关性，为认识情绪视频自然范式诱发下大脑加工状态的时间动力学提供新的视角。通过评估脑电微状态、情绪状态和视频刺激之间的关联关系，发现脑电微状态（MS1、MS2、MS3和MS4）可以很好地揭示情绪响应变化。其中，MS3和MS4活动与不同的情绪状态表征情况（情绪任务效应和情绪水平效应）以及视频内容中情感信息呈现情况（视觉和音频）高度相关。在这项工作中，我们从感觉和诱发维度共同揭示了情绪动态响应下大脑脑电微状态的活动模式，加深了对情绪动力学调制下潜在功能脑网络状态的理解，将有助于深入开展情绪动态加工的大脑神经生理机制研究。
深圳大学是该论文的第一单位。深圳大学医学部生物医学工程学院研究生胡婉柔同学和张治国教授为共同第一作者，助理教授梁臻博士为通讯作者。该论文已发表在Cerebral Cortex（中科院一区TOP期刊，医学类）,题目为《EEG Microstate Correlates of Emotion Dynamics and Stimulation Content during Video Watching》. |
脑电微状态分析是一种有效的脑电时-空联合分析方法，通过描述多通道脑电信号的电位分布状态随时间的变化情况，为揭示全脑自发电生理活动的时空动力学提供了新颖的分析视角。然而，现有研究对脑电微状态与情绪之间关系的认识仍相当有限。为了更系统、准确、深入地解读动态情绪响应对脑电微状态活动模式的时间调制效应，本研究从主观体验情绪状态分析（研究1）和客观呈现刺激效应分析（研究2）的角度，分别考察了主观体验的情绪状态和客观呈现的视频刺激内容映射在大脑电生理学信号上的表征情况，通过度量脑电微状态活动变化与潜在情绪表征信息的相关关系，阐明了脑电微状态活动模式中反映的潜在情绪响应动态性。
图1 视频诱发情绪动力学调制下脑电微状态的研究框架。
本研究探索了脑电微状态、情绪状态和视频刺激内容之间的关系，并阐述了微状态如何有效地与内部（诱发情绪）和外部（视频刺激内容）状态变化关联（如图1所示）。主观体验情绪状态分析（研究1），主要关注情绪状态与脑电微状态活动的关系，通过考察不同情绪诱发阶段（任务效应）、情绪评分水平（水平效应）下以及情绪诱发过程中（诱发动力学）脑电微状态活动模式的动态变化，对情绪动力学进行全面研究。对于客观呈现的刺激效应分析（研究2），通过估计脑电微状态活动和视频刺激内容之间的时间关联，以理解情绪信息是在大脑中的感知加工情况。
本研究基于脑电微状态分析的情绪动力学研究是在一个著名的视频诱发情绪-脑电数据库（DEAP：A Database for Emotion Analysis using Physiological Signals）上开展的。在该数据库中，40个固定时长为60秒的情绪音乐视频（对应于下面的40个试次）会随机呈现，用于诱发被试产生特定的目标情绪状态。同时，以512 Hz的采样率记录了32名被试参与情绪诱发实验时的32通道脑电信号。为了有效地从记录的脑电数据中分析情绪相关的大脑动力学，我们执行了标准的脑电预处理程序（包括滤波、共同平均重参考和独立成分分析），以去除无关噪声、提高数据质量。然后，按情绪诱发实验的进程，将预处理后的脑电数据划分为刺激前（3s）、视频刺激（60s）和刺激后（3s）三段，开展进一步分析。
脑电微状态分析流程如图2所示。（a）输入预处理的脑电数据，（b）从GFP（Global Field Power）曲线的局部极大值中提取具有高信噪比的候选地形图。为了有效地提取具有代表性且可靠的脑电微状态，进行了（c）序列微状态聚类计算。其中，第一次微状态聚类在被试内水平上执行的，第二次微状态聚类在跨被试水平上执行。（d）将最终提取的脑电微状态模板拟合到预处理的脑电数据中，通过将每个采样时间点分配一个主要微状态类别，原始脑电信号可由涵盖全脑自发时-空动态活动的脑电微状态序列进行表征。（e）为了定量测量大脑的动态活动情况，计算了一系列的脑电微状态特征，包括：持续时间、出现频率、覆盖率和转换概率。
图2 脑电微状态分析流程。
在研究1中，我们从任务效应、水平效应和诱发动力学的角度，研究了视频自然范式诱发下大脑脑电微状态动态活动情况。（a）任务效应：通过刺激前和刺激后阶段脑电微状态特征的配对统计差异（图3a），度量了情绪诱发任务对脑电微状态活动的影响。（b）水平效应：考察了效价和唤醒度情绪维度上不同诱发情绪水平（高、低评分）之间的脑电微状态特征表征差异（图3b）。（c）诱发动力学：量化每个情绪诱发视频下，脑电微状态活动随情绪视频诱发的时间变化情况，进一步理解大脑中情绪加工的动态特性（图3c）。
图3 主观体验情绪状态分析流程。
通过时间相关性分析进一步分析了客观呈现的多媒体内容对脑电微状态活动变化的刺激效应（如图4所示）。分别从视频的视觉和音频内容中提取低级属性特征和高级语义特征，用于更全面地描述呈现视频片段中传递的情感信息。这里，提取图像亮度作为视觉低级属性特征，视觉高级语义特征将使用预训练好的VGG16模型进行提取；提取音频过零率作为听觉低级属性特征，听觉高级语义特征对应使用预训练好的VGGish模型进行提取。进一步，为了深入认识情绪视频的动态诱发过程，我们计算了视频内容对脑电微状态活动的诱发时间效应。以固定时间步长移动视频诱发内容的表征时间序列，分别考察视频诱发内容中视觉和音频属性特征与脑电微状态活动在时间上的相关性。
图4 客观呈现刺激效应分析流程。
基于DEAP数据库，以数据驱动的方式最终提取到4个脑电微状态模板，如图5所示。4个脑电微状态模板的GEV（Global Explained Variance）和CV（Cross-Validation）值分别为82.23%和63.33%（图5a），对应了一个最大的GEV与CV比值的一阶差（图5b）,且微状态模板的电位拓扑结构（图5c）与文献中报告的典型微状态地形一致。
图5 脑电微状态模板。
在情绪任务效应分析中，我们发现情绪诱发任务会显著地改变刺激前（情绪激发任务前）和刺激后（情绪激发任务后）的脑电微状态活动。如图6所示，情绪诱发任务后，MS2覆盖率（P=0.046）和MS4覆盖率（P=0.045）相较诱发任务前呈显著上升趋势，而MS3覆盖率（P=0.005）、持续时间（P=0.029）和出现频率（P=0.045）则呈显著下降趋势。同时，情绪任务操作使得从MS3到MS2和从MS4到MS2的转换概率显著增加，而从MS4到MS3的转换概率显著减少。以上结果有力地表明脑电微状态分析能有效地情绪诱发任务导致的大脑活动变化，在MS2和MS4活动上中观察到了正向的情绪任务效应，而在MS3中观察到负向的情绪任务效应。
图6 情绪任务效应分析结果。
在情绪水平效应分析中，我们发现效价和唤醒度维度上的情绪状态不同主要反映在MS3和MS4活动差异上。如图7所示，与低效价组相比，高效价组的MS4出现频率显著降低（P=0.038）。同时，观察到MS1到MS2的转换概率增大（P=0.026），而MS1到MS4的转换概率减少（P=0.023）。如图8所示，与低唤醒度组相比，高唤醒度组的MS3覆盖率（P=0.015）和出现频率（P=0.020）增大，且MS2到MS3的转换概率显著增大（P=0.024）。
图7 基于效价维度的情绪水平效应分析结果。
图8 基于唤醒度维度的情绪水平效应分析结果。
基于脑电微状态活动的视频诱发情绪动力学分析结果如图9所示。（a）呈现了40个情绪视频诱发下，MS3和MS4覆盖率动态变化情况。灰线表示每个被试在单一情绪视频诱发下脑电微状态活动的时间动态模式，黑线是40个视频下所有微状态活动时间动态模式的中间值。（b）情绪诱发期间脑电微状态活动随时间动态变化的统计量化结果。在热图中，借助颜色反映微状态特征值的大小，其中，所显示的特征值为每个视频诱发下32名被试对应时间段内MS3或MS4覆盖率特征的平均值，并已标准化到[0,1]范围进行可视化。标记为“∗”“∗∗”或者“∗∗∗”的片段表示当前时间段的微状态活动与前一个时间段相比存在统计上的显著差异。（c）以视频20诱发下MS3和MS4覆盖率随时间变化的详细情况为示例(∗P<0.05，∗∗P<0.01，∗∗∗P<0.001）。
图9 情绪诱发动力学分析结果。
视觉和音频内容对应的刺激效应分析结果如图10所示。热图呈现的是视频诱发内容与脑电微状态活动相关关系测量计算时输出的统计结果t值。正t值标记为红色，表示刺激内容与脑电微状态活动之间呈正相关关系。负t值标记为蓝色，表示刺激内容与微状态活动之间存在负相关关系。(∗P<0.05，∗∗P<0.01）。这里，视觉内容对脑电微状态的刺激效应主要反映在MS4活动上（图10a,b），而音频内容的的刺激效应主要反映在MS3活动上（图10c,d）。此外，与刺激内容的低级属性相比，高级语义特征对情绪-脑电微状态的刺激效应更显著，说明高级语义信息在情绪诱发中起着更重要的作用。
另一方面，视频刺激内容和脑电微状态活动的时间相关性分析结果（如图11所示）显示，大脑对于视觉和音频诱发内容的响应时间效应是不同的。视觉刺激内容与MS4活动呈现了一个诱发前期时间关联效应（preceded effect）（图11a），而音频刺激内容与MS3活动呈诱发后期时间关联效应（post-stimulus effect）（图11b）。
图11 多媒体内容和脑电微状态活动之间的时间相关性。
本研究的研究结果都有力地显示脑电微状态可作为一种信息中介，有效地反映主观体验情绪状态和客观呈现刺激效应对大脑动态活动模式的影响。特别是，与高级功能脑网络密切相关的MS3和MS4，在主观体验情绪状态分析和客观呈现刺激效应分析中都表现出了良好的情绪表征性能。这项将脑电微状态分析应用于动态情绪分析的工作，系统地探究了情绪状态、大脑动态活动、视频诱发内容三者之间的表征关联性，拓展了我们对脑电微状态的神经生理学意义的认识，为探索情绪动态加工的神经机制提供了一种有效的分析方法。
Wanrou Hu, Zhiguo Zhang, Huilin Zhao, Li Zhang, Linling Li, Gan Huang, Zhen Liang, EEG microstate correlates of emotion dynamics and stimulation content during video watching, Cerebral Cortex, bhac082, pp. 1-20, 2022, https://doi.org/10.1093/cercor/bhac082.
