基于多模态组合模型的语音情感识别

论文摘要

语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组合模型C3;然后应用排列组合方法通过计算机实现自动组合,克服GauravSahu手工组合存在的不足;最后用超参数优化方法和交叉验证方法对网络模型进行训练和测试,解决手工调参存在的不足。在IEMOCAP数据集上对本文提出的C3进行实验,实验结果表明,C3比Gaurav Sahu提出的多模态组合模型E2的语音情感识别性能提升1.56%。

论文目录

• 0 引言
• 1 相关工作
•   1.1 数据预处理（1）音频序列
•   1.2 语音情感特征提取
• 2 多模态组合模型
• 3 模型优化
•   3.1 超参数优化
•   3.2 交叉验证（Cross Validation）
• 4 实验及结果分析
•   4.1 实验数据
•   4.2 模型部署
•   4.3 实验结果
•     （1）基于音频特征的模型性能
•     （2）基于文本特征的模型性能
•     （3）基于音频特征与文本特征组合的模型性能
•   4.4 实验分析
• 5 总结

文章来源

类型: 期刊论文

作者: 陈军,王力,徐计

关键词: 单模态模型,多模态组合模型,超参数优化,语音情感识别,交叉验证,自动组合

来源: 软件 2019年12期

年度: 2019

分类: 信息科技

专业: 电信技术

单位: 贵州大学大数据与信息工程学院,贵州工程应用技术学院信息工程学院

基金: 国家自然科学基金项目(项目名:基于引领树结构的多粒度大数据分析理论与方法,批准号:61966005),贵州省教育厅创新群体重大研究项目(项目名:精准扶贫多源异构数据融合研究与平台建设,批准号:黔教合KY字[2016]057)

分类号: TN912.34

页码: 56-60+214

总页数: 6

文件大小: 1404K

下载量: 234