融合脑机接口与虚拟现实的空间认知训练与评估系统研究

论文摘要

空间认知是当前国内外认知科学领域的研究热点,并取得了系列成果,但是专门对空间认知进行训练与评估的研究较少。主要原因在于其科学的训练评估系统难以构建,训练效果量化简单,并且对训练效果的评估受观察人员的主观因素影响较大。因此本文从科学有效的空间认知训练评估系统设计、基于该系统的训练评估效果定量分析两个方面进行了深入研究。首先,本研究构建了一套将脑机接口与虚拟现实技术进行融合的空间认知训练与评估系统。该系统借助虚拟环境下的空间认知任务对受试者进行训练与测试,并同步采集脑电信号,记录受试者的行为数据。采用离线分析的方式对训练前后行为数据的时间、路程等多个指标进行统计分析;借助格兰杰因果分析、排序条件互信息方法分别对脑电信号进行特征提取与分类,以便客观、定量地评估训练的效果。其次,针对传统脑电信号分析方法容易忽略通道之间相对位置信息的问题,本研究提出基于多维排序条件互信息-多光谱图像的空间认知能力评估脑电信号分析方法。该方法充分考虑脑电信号耦合特征的空间属性,将多频段组合下的耦合特征进行多光谱图像转化,并借助卷积神经网络对这些图像数据进行分类,从而有效地评估训练前后空间认知能力的变化。最后,本研究对上述内容进行了实验与分析。本实验招募了7名受试者使用上述系统进行为期20天的训练及前后测试,从不同角度验证了该系统在这些受试者空间认知训练与评估量化方面的有效性。此外,本文验证了多维排序条件互信息-多光谱图像方法相对于其他方法在空间认知能力评估应用中的优越性。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
•   1.1 研究背景和意义
•   1.2 国内外研究现状
•     1.2.1 空间认知训练与评估系统研究现状
•     1.2.2 空间认知脑电信号分析研究现状
•   1.3 本文研究内容
•   1.4 本文组织结构
• 第2章 相关知识概述
•   2.1 BCI-VR系统开发相关知识
•     2.1.1 BCI基本知识
•     2.1.2 VR基本知识
•     2.1.3 Lab Streaming Layer协议
•   2.2 脑电信号特征提取方法
•     2.2.1 格兰杰因果分析
•     2.2.2 排序条件互信息
•   2.3 脑电信号分类方法
•     2.3.1 快速学习网络
•     2.3.2 卷积神经网络
•   2.4 本章小结
• 第3章 基于BCI-VR的空间认知训练与评估系统
•   3.1 系统需求分析
•   3.2 系统软硬件平台与功能结构
•   3.3 VR空间认知任务设计与实现
•     3.3.1 训练任务设计
•     3.3.2 训练任务场景设计
•     3.3.3 角色控制器与碰撞检测
•     3.3.4 任务参数设置
•     3.3.5 测试任务
•   3.4 空间认知数据与信息获取
•     3.4.1 脑电信号采集方法
•     3.4.2 行为数据采集方法
•     3.4.3 脑电信号与行为数据的同步接收方法
•   3.5 空间认知训练效果评估
•     3.5.1 脑电信号预处理
•     3.5.2 行为数据与脑电信号量化指标
•   3.6 本章小结
• 第4章 基于MPCMI-MSI的空间认知能力评估脑电信号分析方法
•   4.1 问题分析
•   4.2 MPCMI-MSI方法
•     4.2.1 耦合特征提取
•     4.2.2 多光谱图像转化
•   4.3 卷积神经网络分类框架
•   4.4 本章小结
• 第5章 实验结果与分析
•   5.1 BCI-VR空间认知训练与评估系统测试实验
•     5.1.1 系统测试用户信息与任务信息
•     5.1.2 统计分析与评价标准
•     5.1.3 行为数据统计结果
•     5.1.4 脑电信号分类结果
•     5.1.5 实验结果分析
•   5.2 基于MPCMI-MSI的脑电信号分析实验
•     5.2.1 模型训练与评价标准
•     5.2.2 基于不同方法的多光谱图像数据分类结果对比
•     5.2.3 实验结果分析
•   5.3 本章小结
• 结论
• 参考文献
• 致谢

文章来源

类型: 硕士论文

作者: 袁京捧

导师: 徐玉辰,韩旭

关键词: 脑机接口,虚拟现实,空间认知,卷积神经网络

来源: 燕山大学

年度: 2019

分类: 基础科学,医药卫生科技,信息科技

专业: 生物学,生物医学工程,电信技术,计算机软件及计算机应用

单位: 燕山大学

基金: 国家自然科学基金委员会在面上基金(No.61876165),青年基金(No.61503326)

分类号: R318;TN911.7;TP391.9

DOI: 10.27440/d.cnki.gysdu.2019.000588

总页数: 66

文件大小: 2809K

下载量: 103