基于聚焦损失与残差网络的远程监督关系抽取

论文摘要

基于卷积神经网络的远程监督关系抽取方法提取的特征单一,且标准交叉熵损失函数未能较好处理数据集中正负样本比例不均衡的情况。为此,提出一种基于深度残差神经网络的远程监督关系抽取模型,通过改进交叉熵聚焦损失函数,提取句子中的深层语义特征,同时降低损失函数中负样本的权重,避免在NYT-Freebase标准数据集中引入NA关系类别的噪音。实验结果表明,该模型能增强深度残差神经网络对含噪音数据的表示学习能力,有效提高远程监督关系抽取任务的分类准确率。

论文目录

• 0 概述
• 1 相关工作
• 2 基于深度残差网络的远程监督关系抽取
•   2.1 向量表示层
•     2.1.1 词映射
•     2.1.2 位置映射
•   2.2 卷积层
•   2.3 残差卷积块
•   2.4 最大池化层和Softmax输出
•   2.5 改进的交叉熵聚焦损失函数
• 3 实验结果与分析
•   3.1 数据集及评价准则
•   3.2 参数设置
•   3.3 模型对比
• 4 结束语

文章来源

类型: 期刊论文

作者: 蔡强,李晶,郝佳云

关键词: 交叉熵损失函数,残差学习,远程监督模型,关系抽取,卷积神经网络

来源: 计算机工程 2019年12期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用,自动化技术

单位: 北京工商大学计算机与信息工程学院,北京工商大学食品安全大数据技术北京市重点实验室

基金: 北京市自然科学基金(4162019),北京市科技计划项目(Z161100 001616004),北京市教委科研计划项目(SQKM201610011010)

分类号: TP391.1;TP18

DOI: 10.19678/j.issn.1000-3428.0053262

页码: 166-170

总页数: 5

文件大小: 463K

下载量: 240