软件学院本科生在多媒体领域顶级会议ACM MM发表论文

文:张诗晗 图:邓翔文 / 来源:软件学院 / 2021-09-03 / 点击量:1933

  近日,我校信息与软件工程学院2018级本科生邓翔文在多媒体领域顶级的国际会议ACM MM (ACM Multimedia) 上,发表题为“SFE-Net: EEG-based Emotion Recognition with Symmetrical Spatial Feature Extraction”的论文。邓翔文为论文第一作者,2017级硕士研究生朱俊林为第二作者,杨尚明副教授为通讯作者。

图片1.png 

图1 本论文提出的SFE-Net模型框架示意图

  近年来,基于EEG(脑电信号)情感识别已广泛应用于人机交互和医疗保健等领域。尽管以深度学习和EEG矩阵输入形式为主的传统方法已经取得了令人鼓舞的结果,但这些方法还存在两个问题:一是EEG矩阵仍然存在大量未利用的空缺通道,无法正确保持EEG在特定邻域的一致性,影响了相邻通道间的空间特征提取;二是忽略了大脑的功能对称特征,而这些特征通常也包含与情感相关的显著信息。

  为了更好解决这些问题,该论文提出了一种用于EEG特征提取和情感识别的空间折叠集成网络(SFENet)。对于脑电电极之间的未检测区域,采用改进的Bicubic-EEG插值算法来复原脑电通道信息,这使网络能够提取更广泛的相邻空间特征。该论文也受人脑空间对称机制的启发,使用五种不同的策略折叠输入EEG通道数据,使所提出的网络能够更有效地提取脑电信号的空间对称特征信息。最后采用基于3DCNN的空间和时间提取以及集成学习的多投票策略构建新的人工神经网络模型,实现提取和识别这些EEG特征信息。

  该SFE-Net网络可以更好地保持相邻通道之间的原始邻接关系,并缩短对称通道之间的物理距离,可以更加有效地提取EEG的空间相邻和对称特征,极大提高了特征识别的鲁棒性和准确性,为脑机接口提供了更可靠的工具。同时,该论文对于领域常见的EEG通道矩阵进行了重要优化,研究成果具备较为广泛的适用性。论文在两个公开数据集上进行了完备的实验,充分证实了SFE-Net的表现优于目前存在的算法。

图片2.png  

图2 本论文提出的SFE-Net模型精度曲线示意图       

图片3.png 

图3 本论文提出的Bicubic-EEG算法精度对比图

图片4.png 

图4 本论文提出的SFE-Net模型超过现有的方法

  根据中国计算机学会(CCF)评级,ACM MM属于A类国际会议,其收录的论文代表了多媒体的创新技术与重大成果,是该领域学术研究与行业发展的风向标。  

  邓翔文是信息与软件工程学院2018级数字动漫方向本科生。他从大二进入学院的中医知识与数据工程实验室,并在杨尚明副教授、刘勇国教授、李巧勤副教授的指导下,致力于情绪识别方向的研究。软件学院大力开展“本科生进实验室”活动,为本科生开展科学研究提供平台和支持,更好地培养具备科研能力和工程能力的高素质人才。


编辑:林坤  / 审核:林坤  / 发布者:陈伟