基于实时功能磁共振成像的面部情绪解码技术研究

论文摘要

大脑情绪的解读对于面向高级认知的脑机交互具有重要作用,因此基于神经信号对面部视觉刺激的情绪解码成为大脑视觉加工研究的重要组成部分。功能磁共振成像（functional Magnetic Resonance Imaging,fMRI）以其高时间、空间分辨率优势成为研究大脑视觉信息加工的主要手段。目前,基于fMRI的大脑视觉信息加工的研究主要集中在对大脑感知的视觉刺激进行语义和内容的解析上,对于如何通过视觉皮层的大脑活动表达视觉刺激中的情绪特征,以及如何实现视觉刺激的情绪解码这一问题研究较少。本文针对利用视觉皮层的fMRI信号对面部情绪进行特征表达以及实时情绪类型解码的方法展开研究,对融合高级认知的脑机接口、大脑视觉信息重构等研究方向,具有重要的理论意义和实际价值。本文围绕基于fMRI的面部视觉刺激情绪解码的关键问题,结合大脑视觉皮层信息加工的原理以及深度学习、增量学习等方法,在fMRI脑功能图像的快速配准、针对面部情绪解析的视皮层体素特征提取、实时面部情绪解码方法等几个方面展开具体研究。主要工作如下:（1）针对本文研究的面部情绪解码问题设计并开展了相关fMRI实验,建立面部情绪解码实际数据样本库;针对面部情绪在视皮层中表达比较精细和微弱等特点,实现了基于表面皮层的数据预处理、个体视觉功能区的定位和视皮层特征生成,为后续基于视皮层大脑活动的面部解码分析提供了可靠的数据基础。（2）快速高精度的功能图像配准是基于体素特征构建实时解码模型的关键前提,本文提出了基于U-net的快速fMRI图像配准方法。传统配准方法依靠图像特征的相似性为优化目标估计功能图像的配准参数,在数据规模比较大的情况下效率较低。本文引入U-net深度网络模型,从大量样本中学习功能图像中大脑的几何位置变化特征,实现基于深度网络的快速fMRI图像配准和跨试次功能影像的头动校正。实验结果表明,该方法能够实现跨试次的fMRI数据头动校正,并且配准时间较传统方法大幅减少,为提升实时fMRI面部情绪识别的处理效率发挥了重要作用。（3）为了实现从fMRI大脑视觉皮层中提取对面部情绪信息的有效表达,提出主成分最大相关的视皮层体素选择和特征提取方法。通过视皮层体素特征表达不同面孔情绪,存在的主要困难是特征维度大,而其中的情绪信息却比较精细和微弱。本文首先基于大脑表面皮层获取初级视觉区和与面部识别相关的高级视觉区体素特征,在此基础上,通过主成分评价法选取体素间差异性最大的体素,通过最大相关-最小冗余法更多地保留体素特征间的信息熵,使降低特征维度的同时尽可能保留视皮层区域中的有效信息。实验结果表明,本文提出的主成分最大相关方法,能够选取有效体素并提取面部情绪相关特征,并利用参数优选解码器获得了较高的面孔情绪解码精度。（4）针对fMRI面部情绪解码的实时处理问题,提出基于错误样本触发的SVM增量分类器实时更新方法。本文首先针对实时解码中随着训练集数据增多训练时长增加的问题,通过经典SVM增量学习方法仅对新增加的样本进行学习,获取当前更新;其次,在经典增量学习方法基础上,只针对错误样本进行分类界面的更新,进一步提升了计算效率。最后经实验验证,本文提出的方法能较快达到稳定解码状态,并能够获得接近于经典方法的分类准确率,在计算时间上保持稳定且优于经典算法模型。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 课题背景与研究意义
•   1.2 实时fMRI与视觉信息感知
•     1.2.1 实时功能磁共振成像技术
•     1.2.2 大脑视觉信息感知机制
•   1.3 基于fMRI的图像配准和面部情绪解码技术研究现状
•     1.3.1 基于深度学习的MRI图像配准技术研究现状
•     1.3.2 基于fMRI的面部情绪解码技术研究现状
•   1.4 课题研究内容与论文结构安排
• 第二章 基于fMRI的面部情绪解码实验与数据处理
•   2.1 实验受试者
•   2.2 实验设计
•   2.3 实验刺激呈现
•     2.3.1 视网膜映射刺激
•     2.3.2 面部识别区定位刺激
•     2.3.3 面部情绪解码任务刺激
•     2.3.4 静息态扫描任务
•   2.4 实验fMRI数据采集
•   2.5 实验数据处理
•     2.5.1 实验数据预处理
•     2.5.2 一般线性模型分析
•     2.5.3 感兴趣区定义
•   2.6 本章小结
• 第三章 基于深度学习的快速fMRI脑影像配准技术研究
•   3.1 fMRI脑影像配准技术概述
•     3.1.1 传统fMRI脑影像配准技术
•     3.1.2 基于深度学习的fMRI脑影像配准技术
•     3.1.3 fMRI脑影像配准结果的评估
•   3.2 基于卷积神经网络的fMRI脑影像配准方法
•     3.2.1 卷积神经网络框架及原理
•     3.2.2 基于U-net的 fMRI脑影像配准技术
•   3.3 实验结果及分析
•     3.3.1 实验数据
•     3.3.2 实验结果
•     3.3.3 实验结果讨论
•   3.4 本章小结
• 第四章 基于大脑视觉皮层活动的fMRI面部情绪特征提取技术研究
•   4.1 基于大脑视觉皮层的主成分最大相关体素特征提取技术
•     4.1.1 fMRI体素选择方法
•     4.1.2 主成分最大相关原理及方法
•     4.1.3 基于皮层的主成分最大相关方法
•   4.2 基于参数优选的面部情绪解码器
•   4.3 实验结果及分析
•     4.3.1 实验数据
•     4.3.2 实验结果
•     4.3.3 实验结果讨论
•   4.4 本章小结
• 第五章 基于实时fMRI数据增量学习的面部情绪解码技术研究
•   5.1 OpenNFT实时功能磁共振数据采集和处理系统
•   5.2 解码器在线实时更新实验流程
•   5.3 基于增量学习的解码器实时更新算法
•     5.3.1 经典SVM增量学习算法
•     5.3.2 错误样本触发SVM增量学习算法
•   5.4 实验结果及分析
•     5.4.1 实验数据
•     5.4.2 解码器对比实验结果
•   5.5 本章小结
• 第六章 总结与展望
•   6.1 总结
•   6.2 展望
• 致谢
• 参考文献
• 作者简历

文章来源

类型: 硕士论文

作者: 杨强

导师: 童莉

关键词: 实时功能磁共振成像,面部情绪解码,深度学习,图像配准,特征提取,支持向量机,增量学习

来源: 战略支援部队信息工程大学

年度: 2019

分类: 基础科学,信息科技

专业: 物理学,计算机软件及计算机应用

单位: 战略支援部队信息工程大学

分类号: TP391.41;O482.531

DOI: 10.27188/d.cnki.gzjxu.2019.000063

总页数: 77

文件大小: 4126K

下载量: 80