基于联合注意力机制的篇章级机器翻译

论文摘要

近年来,神经机器翻译(neural machine translation, NMT)表现出极大的优越性,然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题。传统的注意力机制对源端的所有词语进行计算,而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的。在篇章级机器翻译中,采用传统的注意力机制建模篇章信息存在着信息冗余的问题。该文提出了一种联合注意力机制,结合"硬关注"和"软关注"的机制对篇章上下文的信息进行建模。关键思想是通过"硬关注"筛选出与翻译当前句子相关的源端历史词语,然后采用"软关注"的方法进一步抽取翻译中所需的上下文信息。实验表明,相比于基线系统,该方法能使翻译性能获得明显提升。

论文目录

• 0 引言
• 1 相关研究
• 2 基线系统
•   2.1 编码器
•   2.2 解码器
• 3 基于联合注意力的篇章机器翻译
•   3.1 问题定义
•   3.2 基于强化学习的硬关注模块
•   3.3 基于多头注意力的软关注模块
•   3.4 上下文门控单元
•   3.5 模型的训练
• 4 实验与分析
•   4.1 实验数据和指标
•   4.2 实验细节
•   4.3 主要实验结果
•   4.4 与现有工作的对比
•   4.5 篇章长度的影响
• 5 总结与展望

文章来源

类型: 期刊论文

作者: 李京谕,冯洋

关键词: 神经机器翻译,注意力机制,篇章级机器翻译

来源: 中文信息学报 2019年12期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用

单位: 中国科学院计算技术研究所智能信息处理重点实验室,中国科学院大学

分类号: TP391.2

页码: 45-53

总页数: 9

文件大小: 743K

下载量: 161