基于双编码器的短文本自动摘要方法

论文摘要

针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射（Seq2Seq）架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率（TF-IDF）、词性（POS）、关键性得分（Soc）,优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法（RNN+atten）和多层双向伴随自注意力机制的递归神经网络方法（Bi-MulRNN+atten）提高10～13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。

论文目录

• 0 引言
• 1 改进的双编码器结构的文本摘要生成模型
•   1.1 基于双向递归神经网络的双编码器
•   1.2 融合全局与局部语义的注意力机制
•   1.3 伴随经验概率分布的解码器
• 2 改进的词嵌入技术
•   2.1 增加词嵌入特征
•   2.2 优化词嵌入维度
• 3 实验与结果分析
•   3.1 实验数据优选
•   3.2 实验参数
•   3.3 结果分析
• 4 结语

文章来源

类型: 期刊论文

作者: 丁建立,李洋,王家亮

关键词: 生成式文本摘要,序列映射,双编码器,经验分布,词特征表示

来源: 计算机应用 2019年12期

年度: 2019

分类: 信息科技

专业: 无线电电子学,计算机软件及计算机应用

单位: 中国民航大学计算机科学与技术学院

基金: 民航局科技重大专项基金资助项目(MHRD20150107,MHRD20160109),中央高校基本科研业务费专项资金资助项目(3122018C025),中国民航大学科研启动基金资助项目(2014QD13X)~~

分类号: TP391.1;TN762

页码: 3476-3481

总页数: 6

文件大小: 575K

下载量: 263