不同深度学习模型的科技论文摘要语步识别效果对比研究

论文摘要

【目的】探究不同深度学习模型的科技论文摘要语步识别效果,并分析识别效果差异原因。【方法】构建大规模的科技论文结构化摘要语料库,选择10 000和50 000两种样本量的训练集,以传统机器学习方法 SVM作为对比基准,引入多种深度学习方法（包括DNN、LSTM、Attention-BiLSTM等神经网络模型）,开展语步识别实验,并对实验结果进行对比分析。【结果】Attention-BiLSTM方法在两种样本量下的实验中都取得最好的识别效果, 50 000样本量下F1值达0.9375; SVM方法的识别效果意外好于DNN、LSTM两种深度学习方法;但是,样本量从10 000增加到50 000时, SVM方法的识别效果提升最小（F1值提升0.0125）, LSTM方法效果提升最大（F1值提升0.1125）。【局限】由于该领域尚未有公开的通用语料,主要以笔者收集的结构化论文摘要作为训练和测试语料,因此本文的研究结果在与他人比较时有一定的局限性。【结论】双向LSTM网络结构和注意力机制能够显著提升深度学习模型的语步识别效果;深度学习方法在大规模训练集下更能体现其优越性。

论文目录

• 1 引言
• 2 研究设计
•   2.1 大规模训练语料构建及样本选择
•   2.2 对比基准实验的设计
•   2.3 基于深度学习的语步识别实验设计
•   2.4 识别效果指标
• 3 实验步骤及结果分析
•   3.1 基于支持向量机模型的实验
•   3.2 基于DNN神经网络模型的实验
•   3.3 基于LSTM模型的实验
•   3.4 基于Attention-BiLSTM模型的实验
•   3.5 识别效果差异的统计学分析
•   3.6 识别效果差异的原因分析
• 4 结语

文章来源

类型: 期刊论文

作者: 张智雄,刘欢,丁良萍,吴朋民,于改红

关键词: 深度学习,神经网络,语步识别,支持向量机

来源: 数据分析与知识发现 2019年12期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用,自动化技术

单位: 中国科学院文献情报中心,中国科学院大学经济与管理学院图书情报与档案管理系,中国科学院武汉文献情报中心,科技大数据湖北省重点实验室

基金: 中国科学院文献情报能力建设专项子项目“科技文献丰富语义检索应用示范”(项目编号:院1734)的研究成果之一

分类号: TP391.1;TP18

页码: 1-9

总页数: 9

文件大小: 1238K

下载量: 298