导读:本文包含了多模态信息融合论文开题报告文献综述及选题提纲参考文献，主要关键词:兴趣度,身体行为,分类方法,信息融合
多模态信息融合论文文献综述
任婕[1]（2019）在《基于多模态身体行为信息融合的学生学习兴趣分析方法研究》一文中研究指出对学生学习兴趣分析方法的研究在教学活动中是非常有意义的,但是目前的学生课堂评价体系都不够客观。本文介绍了一种根据课堂中采集到学生身体行为特征,定义了6种特征动作并叙述其对应的识别方法,并通过多模态信息融合以及层次分析法确定权重,从而计算出兴趣度。(本文来源于《仪器仪表用户》期刊2019年12期）
符晓明[2]（2019）在《基于改进变分自编码器的多物理域多模态信息融合方法研究》一文中研究指出多物理域多模态信息融合具有复杂、高维度、计算量大、鲁棒性差、异构数据处理难的特点,传统基于变分自编码器方法,由于采用单一的信息通道,缺乏对不同模态不同时频域空间信息交换,忽略了不同尺度的特征融合,造成生成结果质量较差。本文在变分自编码器的基础之上,加强了变分自编码器的信息流向,提出基于改进变分自编码器的多物理域多模态信息融合方法,使得融合结果更能反映不同物理域的观测真实性。同时对比了病态数据融合、彩色图像融合深度图像两种不同的多模态信息融合与传统算法效果,在频谱图的定性指标和PSNR/SSIM定量指标上,有明显提升。(本文来源于《计量与测试技术》期刊2019年09期）
常诚[3]（2019）在《基于多模态信息融合的房地产价格预测系统的设计与实现》一文中研究指出随着国家经济快速发展,房地产作为支柱产业对经济有着越来越大的推动作用,准确的房地产价格预测有利于在房产投资、二手房交易时占得先机。房屋价格预测最大的挑战在于房地产价格受较多因子影响。目前主流的价格预测思路是建立数学模型进行价格预测,但由于房地产价格与各影响因素间呈现非线性关系,且各个影响因子间互相关联,预测精度仍有较大提升空间。基于以上问题,本文设计了基于多模态信息融合的房地产价格预测系统,旨在引入时间序列信息和房屋图片信息提升预测精度。针对时间序列信息,本文提出基于滑动平滑的差分整合移动平均自回归(ARIMA)算法,解决传统ARIMA算法在房地产问题上差分阶数过高问题;针对房屋图片信息,本文提出基于微调的嵌入向量生成算法提取房屋图片信息,利用迁移学习迁移模型在房屋图片分类任务上的能力用于嵌入向量生成,避免海量房屋数据标注;本文提出多模态深度学习模型,通过建立共享表达层进行模态间信息融合,使得该模型对比单模态模型具有更强的泛化能力和更高的精度。本文设计并实现了基于多模态信息融合的房地产价格预测系统,系统包含前端交互、算法能力、数据管理和系统管理四个模块,支持通过网站访问以及浏览器插件访问,模型训练采用离线方式,通过数据管理模块对离线模型参数文件进行维护,当用户提交查询请求时,通过算法能力模块进行在线计算并返回给前端交互模块进行结果展示,通过系统管理模块实现对整个系统服务、接口、运行日志的管理与控制。通过对比实验、系统测试,本文提出的基于多模态信息融合的房地产价格预测模型相较于对比模型在均方误差指标上有提升,系统功能实现完整,具有较高可用性和鲁棒性。(本文来源于《北京邮电大学》期刊2019-02-27）
徐正梅,王慧玲,韦良芬[4]（2018）在《基于多模态信息融合的图像显着性检测算法研究》一文中研究指出图像显着性检测是以高亮的形式将图中最能引起用户兴趣、最能表现图像内容的区域标注出来.近年来,图像显着性检测得到快速发展,但在复杂场景中检测效果仍有待提高.采用两种方式提升显着性检测的泛化性能:其一,利用RGB图像和红外图像的互补性,融合两种模态信息进行检测;其二,考虑到图像跨边界问题,采用Kmeans算法对边界种子点进行筛选.在数据集RGBT-Saliency-Dataset上与当前流行的8种算法进行实验对比.实验结果表明,该算法能有效提升弱光照图像、图像包含噪声、显着目标跨边界以及前景背景相似等情况下的显着性检测效果.(本文来源于《韶关学院学报》期刊2018年12期）
皮礼明[5]（2018）在《多模态信息融合的老人跌倒检测系统研发》一文中研究指出随着我国老龄化程度的不断发展,老龄人口比例越来越大。老年人普遍存在身体机能退化,容易跌倒的现象。目前检测设备方式多针对日常姿态的跌倒,对晕厥性等危急跌倒没有可靠有效的检测方式方法,对于跌倒之后的危急程度也没有相应的报警等级。针对日益增加的老年人跌倒检测和报警需求,尤其是针对独居老人跌倒后晕厥或休克性跌倒情况,设计了一种基于多模态传感器信息融合的跌倒检测设备。本文研究的重点是研发基于多模态信息融合的跌倒检测软硬件设备,通过引入新的检测及报警方法,对危重跌倒情况进行可靠的检测和报警。本论文主要内容包括以下方面:1.提出了融合生理传感器和跌倒评分量表的危重跌倒检测及报警方法:融合生理传感器可以有效评估危重跌倒的发生,通过引入跌倒评分量表的结果输出,可以有效输出报警等级,且结果会自我优化学习。2.提出了多模态融合的跌倒检测级联算法:综合一线临床调研情况和医学量表,认为跌倒主要是在身体发生移位的情况下发生,跌倒后由于人的应激性反应会导致人心率上升,因此,提出了先判断跌倒物理姿态,再进行心率检测的级联检测方法,提高跌倒检测准确率。3.研发了基于多模态信息融合的跌倒检测功能模块:采用低功耗蓝牙SOC芯片作为通信和主控制器,集成了包括叁轴加速度传感器、高度传感器和心率传感器的多MEMS传感器检测电路,整个系统实现了可穿戴化、低功耗、低成本。通过实验对象的模拟跌倒检测和分析,均达到预期目标。综上所述,本文研究和开发了基于多模态传感器信息融合的跌倒检测设备和相应的数据融合算法,具有体积小、功耗低、重量轻、准确率高等优点,在老人跌倒检测,特别是术后康复老人跌倒检测设备方面具有较高的应用价值。(本文来源于《中国科学院大学(中国科学院深圳先进技术研究院)》期刊2018-12-01）
魏玉锋[6]（2018）在《多模态信息融合在机器人目标定位抓取中的应用研究》一文中研究指出基于计算机视觉的物体识别与定位技术在工业生产中得到广泛的应用。本文从工业生产的需求出发,提出了一种物体位姿估计算法,通过提取二维图像与叁维图像的多模态信息,实现了对物体的识别定位,并通过抓取实验验证了算法的可靠性与鲁棒性;为了增加识别的可靠性,利用深度学习对不同物体进行了分类训练,得到一个分类识别的模型,通过实验验证了该模型具有良好的识别效果。本文的研究内容如下:(1)对Kinect2深度相机,USB相机和机器人进行标定实验,将它们叁者的坐标系转换到世界坐标系下,为后期的抓取提供理论基础;(2)利用USB相机获取二维图像,对物体的边缘轮廓检测进行轮廓识别,再提取图像的SIFT特征进行定位跟踪,得到物体的位置信息;(3)通过Kinect2相机获取叁维点云图像,经过预处理、欧式聚类分割、VFH特征计算、KD树搜索得到最佳模板,进行点云图像的识别,并经点云聚类配准获得物体方向信息。(4)提出了一种物体位姿估计算法,融合上述两者方法,完成对物体的识别与定位。通过机器人抓取实验对本文方法的效果进行了验证,结果表明,采用二维图像和叁维点云图像的多模态信息进行处理,能够有效对不同形状的目标物体进行识别与定位,与仅采用二维或点云单模态图像信息的处理方法相比,定位误差可减小54.8%,方向误差减少50.8%,具有较好的鲁棒性和准确性。(5)通过CNN卷积神经网络对物体进行分类。首先人工采集原始图像,然后利用“DCGAN”神经网络对物体图像数量进行扩增,接着建立CNN卷积神经网络完成对不同物体的分类训练并得到一个分类识别模型,经过实验验证该模型能准确的识别出不同的物体。(本文来源于《宁波大学》期刊2018-06-25）
吴浩鹏[7]（2018）在《双模态信息融合的情感识别研究》一文中研究指出近些年,随着人工智能与深度学习的发展,机器情感识别逐渐成为了一个热门的话题走进了人们的视野。越来越多的专家以及学者开始研究基于人体生物信号的方式识别人们的感情,比如人体姿势、语音信号、表情信号、脑电信号、心电信号等等。考虑到获取手段的便捷性,人们选取语音以及表情为主要的识别方式。选取情感矢量作为情感模型,识别样本中包括高兴、恐惧、愤怒、悲伤、惊讶、怀疑、中性表情等七类情感状态。使用表情与语音双模态融合的方式实现情感识别,完善输入数据的信息互补性。从视频序列中获取表情特征,从音频输入中获取语音特征。对语音信号进行分帧加窗以及预加重等预处理。提取韵律以及音质特征,包括短时能量、基音频率、共振峰以及MFCC,计算统计学参数联合构成的语音情感特征,使用隐马尔科夫模型进行语音情感识别。针对表情识别,建立主动形状模型,定位人脸和五官局部位置。人脸表情主要取决于人们面部的纹理特性,提出了两种特征提取算法:(1)改进的Gabor算法,改进Gabor核函数,使得曲率图像表现得更加明显,增加纹理部分的图像特征;(2)融合了拉普拉斯算子的CLBP算法,通过拉普拉斯算子加强图像的纹理特性。这两种方法相较于原始特征提取算法,着重于提取人脸面部的纹理细节特征。针对这些特征使用深度信念网络进行表情分类识别。采用决策层融合的方式,通过乘积规则、均值规则以及最大最小值规则进行融合,得到双模态融合的情感识别结果。通过F-score与G-mean对实验结果进行评测,验证了本文提出算法的可行性。(本文来源于《内蒙古工业大学》期刊2018-06-01）
贾晨,刘华平,续欣莹,孙富春[8]（2019）在《基于宽度学习方法的多模态信息融合》一文中研究指出多模态机器学习通过有效学习各个模态的丰富特征来解决不同模态数据的融合问题。考虑到模态间的差异性,基于宽度学习方法提出了一个能够学习和融合两种模态特征的框架,首先利用宽度学习方法分别提取不同模态的抽象特征,然后将高维特征表示在同一个特征空间进行相关性学习,并通过非线性融合得到最后的特征表达,输入分类器进行目标识别。相关实验建立在康奈尔大学抓取数据集和华盛顿大学RGB-D数据集上,实验结果验证了相比于传统的融合方法,所提出的方法具有更好的稳定性和快速性。(本文来源于《智能系统学报》期刊2019年01期）
刘子旺[9]（2018）在《转子故障的多模态深度学习信息融合诊断方法研究》一文中研究指出旋转设备作为石油石化行业关键设备,运行环境复杂,易发生各种故障,严重时会造成停机甚至事故。转子系统是旋转设备的核心部分,结构复杂,部件众多,时常发生耦合故障,振动分量多且复杂,基于振动的监测难以覆盖整个设备和所有类型的故障。而红外监测可以同时测量多个部件的温度信息,适用于耦合故障诊断。因此,本文引入基于红外图像的故障诊断方法,针对红外图像敏感区域提取、特征学习以及红外和振动信息融合的故障诊断方法进行了研究:(1)研究基于卷积神经网络(Convolutional Neural Network,CNN)的红外图像和振动信号的特征学习,通过构建适用于转子平台红外和振动信息特征学习的CNN模型,实现了红外和振动特征的自动提取。与使用人工提取的特征进行故障诊断相比,准确率分别提高了12.5和3.33个百分点。并用核主元分析(Kernel Principal Component Analysis,KPCA)方法对学习到的特征进行降维可视化,直观地证明了CNN提取的特征具有更好的聚类分布。(2)针对红外图像存在强度集中、对比度低、干扰背景多的特点,提出基于红外显着性检测和阈值优化的故障敏感区域提取方法。使用区域对比的显着性检测方法有效去除图像中的干扰背景,并依据随机森林的诊断结果对图像分割阈值迭代优化,实现了敏感区域的优化提取。与使用人工框选的敏感区域进行诊断相比,该方法可将准确率提高7.5个百分点。(3)针对红外和振动的信息融合和故障诊断问题,提出多模态深度学习的信息融合诊断方法,将特征学习和信息融合两个过程统一于一个模型。通过有监督的训练,学习和反向调整特征学习和融合网络中的权值,增加了数据之间的关联性。通过与其他决策级和特征级融合诊断方法的比较表明,使用本文方法对转子平台进行诊断时故障识别率更高。(本文来源于《中国石油大学(北京)》期刊2018-05-01）
韩保祯[10]（2018）在《基于多模态信息融合的脑网络研究及其应用》一文中研究指出近年来,随着经济条件的增长,人们的生活压力也在增大,随之而来的就是各种精神疾病的发病率不断增高,这为整个社会的发展带来了影响,更为每个家庭增添了负担,因此,我们迫切需要得知这些疾病对于人类大脑造成的影响,并且要及时对疾病进行确诊和治疗。核磁共振技术的发展让脑网络分析越来越热,人工智能的发展也让精神疾病的诊断更为客观、准确,这让我们能够早日打开关于人类大脑的众多之谜。本文基于抑郁症和自闭症的多模态核磁共振数据,利用多种磁共振分析方法进行大脑网络分析研究,根据数据的不同以及分析方法的不同,将本论文的工作主要分为叁部分进行如下描述:(1)利用形态学分析方法以及结构网络的拓扑分析方法,对抑郁症的磁共振数据进行处理分析,基于当前相关研究中不同方法产生的不同结论进行讨论分析,在利用形态学分析方法的研究中,本文发现抑郁症患者的脑灰质出现异常,并且发现抑郁症患者的楔前叶、中央后回等脑区灰质体积出现异常变化。通过构建结构网络并进行网络属性分析,结果发现抑郁症网络的小世界属性有所下降,而且局部网络中的属性也出现异常。另外在结构网络分析中首次提出了大脑网络脆性分析的方法,结果发现抑郁症患者在面对突发刺激时,更有可能出现网络崩溃的现象。(2)基于自闭症患者的多模态数据,本文利用VBM分析方法发现自闭症患者的颞叶、额叶、中央前回等脑区的灰质体积出现显着异常。通过构建结构网络,对网络拓扑属性进行分析,结果发现自闭症患者的全局效率较之正常对照组出现增高的现象(p<0.05)。另外,本文对自闭症患者的功能磁共振数据分析了局部一致性和低频振幅的变化情况,结果发现自闭症患者的默认网络活动明显减弱。在对功能网络分析中,发现自闭症患者的节点属性出现异常,并且最后提出使用相关系数矩阵来分析大脑结构网络和功能网络的关系,结果发现自闭症形态学差异会导致功能网络出现紊乱,但功能网络中的异常在结构网络中所表现的并不明显。(3)本文将机器学习分类模型和特征选择方法应用在精神疾病的诊断中,本文对抑郁症结构像进行诊断,准确率达到72.86%;提出使用嵌入式特征选择方法和PCA两种特征选择和降维的方法对自闭症数据做特征选择,并利用多种分类模型进行训练,逻辑回归和SVM分类准确率分别达到了82.32%和81.27%。(本文来源于《电子科技大学》期刊2018-03-23）
多模态信息融合论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
多物理域多模态信息融合具有复杂、高维度、计算量大、鲁棒性差、异构数据处理难的特点,传统基于变分自编码器方法,由于采用单一的信息通道,缺乏对不同模态不同时频域空间信息交换,忽略了不同尺度的特征融合,造成生成结果质量较差。本文在变分自编码器的基础之上,加强了变分自编码器的信息流向,提出基于改进变分自编码器的多物理域多模态信息融合方法,使得融合结果更能反映不同物理域的观测真实性。同时对比了病态数据融合、彩色图像融合深度图像两种不同的多模态信息融合与传统算法效果,在频谱图的定性指标和PSNR/SSIM定量指标上,有明显提升。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
多模态信息融合论文参考文献
[1].任婕.基于多模态身体行为信息融合的学生学习兴趣分析方法研究[J].仪器仪表用户.2019
[2].符晓明.基于改进变分自编码器的多物理域多模态信息融合方法研究[J].计量与测试技术.2019
[3].常诚.基于多模态信息融合的房地产价格预测系统的设计与实现[D].北京邮电大学.2019
[4].徐正梅,王慧玲,韦良芬.基于多模态信息融合的图像显着性检测算法研究[J].韶关学院学报.2018
[5].皮礼明.多模态信息融合的老人跌倒检测系统研发[D].中国科学院大学(中国科学院深圳先进技术研究院).2018
[6].魏玉锋.多模态信息融合在机器人目标定位抓取中的应用研究[D].宁波大学.2018
[7].吴浩鹏.双模态信息融合的情感识别研究[D].内蒙古工业大学.2018
[8].贾晨,刘华平,续欣莹,孙富春.基于宽度学习方法的多模态信息融合[J].智能系统学报.2019
[9].刘子旺.转子故障的多模态深度学习信息融合诊断方法研究[D].中国石油大学(北京).2018
[10].韩保祯.基于多模态信息融合的脑网络研究及其应用[D].电子科技大学.2018