面向初等数学的知识点关系提取研究

论文摘要

随着互联网技术的发展,在线教育已经改变了学生的学习方式。在线教育平台的井喷式出现,一方面让学生更加便捷地获取在线教育资源,另一方面也造成了“信息过载”和“知识迷航”。完备的知识体系不仅可以有效整合在线教育资源,而且可以辅助刻画学生的学习状况,通过知识体系上的学习路径规划缓解“知识迷航”带来的问题。因此,构建知识体系成为在线教育平台的核心技术。知识点间的关系提取是知识体系构建的主要任务之一,目前比较高效的关系提取算法主要是监督式的。但是这类方法受限于文本质量低、语料稀缺、标签数据难获取、特征工程效率低、难以提取有向关系等挑战。为此,本文基于百科语料和远程监督思想研究了知识点间的关系提取算法,主要贡献如下:1.提出基于关系表示的注意力机制。CNN模型与RNN模型只能提取无向信息,而知识体系中的关系是有向的,为了让模型能够更好地捕获关系的有向性信息,本文提出了基于关系表示的注意力机制,该方法能够提取知识点间的有向关系信息。2.提出基于GCN与LSTM的GCLSTM模型。考虑到GCN模型在获取句子顺序信息上的不足,以及LSTM难以提取句子中相邻单词之间的局部相关信息的缺点,通过结合GCN和LSTM模型各自的优势,本文提出了GCLSTM模型。该模型充分利用GCN的门线性单元提取句子中与目标实体相关的多点信息,并通过基于关系表示的注意力机制为多点信息加权,运用双向LSTM整合带权多点信息,从而实现知识点间的关系提取。3.提出基于Transformer的BTRE模型。考虑到GCLSTM模型难以提取长依赖局部信息以及效率较低的缺陷,本文基于Transformer架构与关系表示的注意力机制,提出了适用于有向关系提取的BTRE模型,该模型能够提取单词之间的长依赖的有向信息,并具有较低的模型复杂度。4.设计并实现知识点关系提取系统。该系统能够进行数据处理、在线标记、支持模型训练与可视化、知识体系展示等功能,支持团队多人同时进行知识体系构建工作。

论文目录

• 摘要
• abstract
• 第一章 绪论
•   1.1 研究背景与意义
•     1.1.1 典型应用
•     1.1.2 挑战
•   1.2 本文工作与贡献
•   1.3 本文组织结构
• 第二章 相关工作
•   2.1 基于规则匹配的关系提取技术
•   2.2 基于机器学习的关系提取技术
•     2.2.1 基于特征的方法
•     2.2.2 基于核的方法
•   2.3 基于深度学习的关系提取技术
•     2.3.1 基于RNN模型的方法
•     2.3.2 基于CNN模型的方法
•     2.3.3 注意力机制
•   2.4 远程监督
•   2.5 本章小结
• 第三章 问题描述与数据集
•   3.1 关系提取的问题描述
•   3.2 数学关系数据集
•     3.2.1 数据集简介
•     3.2.2 基于远程监督思想的数据标记方法
•   3.3 数据预处理
•   3.4 本章小结
• 第四章 基于GCN与LSTM的GCLSTM模型
•   4.1 相关概念介绍
•     4.1.1 传统CNN模型在关系提取任务中的应用
•     4.1.2 RNN模型在关系提取任务中的应用
•     4.1.3 注意力机制在关系提取中的应用
•   4.2 GCLSTM模型的架构
•     4.2.1 嵌入层
•     4.2.2 门线性单元层
•     4.2.3 Attention层
•     4.2.4 双向LSTM层
•     4.2.5 分类层
•   4.3 实验与分析
•     4.3.1 评价指标介绍
•     4.3.2 实验介绍与参数设置
•     4.3.3 实验结果与分析
•   4.4 本章小结
• 第五章 基于Transformer的BTRE模型
•   5.1 相关概念介绍
•     5.1.1 多头注意力机制
•     5.1.2 残差标准化层
•     5.1.3 位置前馈网络
•   5.2 BTRE模型的架构
•     5.2.1 嵌入层
•     5.2.2 编码器
•     5.2.3 解码器
•     5.2.4 分类层
•   5.3 实验与分析
•     5.3.1 评价指标介绍
•     5.3.2 实验介绍
•     5.3.3 实验设置
•     5.3.4 实验结果与分析
•   5.4 本章小结
• 第六章 关系提取系统
•   6.1 系统架构
•   6.2 详细设计与系统展示
•     6.2.1 在线标注模块
•     6.2.2 模型管理模块
•     6.2.3 关系查询模块
•   6.3 本章小结
• 第七章 总结与展望
•   7.1 本文工作总结
•   7.2 未来工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表论文、参与科研和获得荣誉情况

文章来源

类型: 硕士论文

作者: 顾航

导师: 高明

关键词: 知识体系构建,关系提取,远程监督,卷积神经网络,循环神经网络

来源: 华东师范大学

年度: 2019

分类: 基础科学,社会科学Ⅱ辑,信息科技

专业: 数学,教育理论与教育管理,计算机软件及计算机应用,计算机软件及计算机应用

单位: 华东师范大学

分类号: O12-4;TP391.1;G434

总页数: 88

文件大小: 3073K

下载量: 229