融入注意力机制的越南语组块识别方法

论文摘要

对于越南语组块识别任务,在前期对越南语组块内部词性构成模式进行统计调查的基础上,该文针对Bi-LSTM+CRF模型提出了两种融入注意力机制的方法:一是在输入层融入注意力机制,从而使得模型能够灵活调整输入的词向量与词性特征向量各自的权重;二是在Bi-LSTM之上加入了多头注意力机制,从而使模型能够学习到Bi-LSTM输出值的权重矩阵,进而有选择地聚焦于重要信息。实验结果表明,在输入层融入注意力机制后,模型对组块识别的F值提升了3.08%,在Bi-LSTM之上加入了多头注意力机制之后,模型对组块识别的F值提升了4.56%,证明了这两种方法的有效性。

论文目录

• 0 引言
• 1 越南语组块内部结构
•   1.1 越南语组块
•   1.2 越南语组块内部词性组合模式
• 2 融入注意力机制的Bi-LSTM+CRF模型
•   2.1 越南语词向量与词性特征向量获取
•   2.2 注意力机制
•   2.3 Bi-LSTM+Multi-Head Attention+CRF
•   2.4 融入注意力机制的联合向量表示
• 3 实验及结果分析
•   3.1 实验数据
•   3.2 评测指标
•   3.3 模型设置
•   3.4 实验设计
•   3.5 实验结果与分析
• 4 结论

文章来源

类型: 期刊论文

作者: 王闻慧,毕玉德,雷树杰

关键词: 越南语,组块识别,模型,注意力机制

来源: 中文信息学报 2019年12期

年度: 2019

分类: 信息科技,哲学与人文科学

专业: 外国语言文字,计算机软件及计算机应用

单位: 信息工程大学洛阳校区,复旦大学外国语言文学学院

分类号: H44;TP391.1

页码: 91-100

总页数: 10

文件大小: 1158K

下载量: 80