基于预训练BERT字嵌入模型的领域实体识别

论文摘要

随着医疗信息化的发展,越来越多的医疗信息被数字化的记录下来,这些医疗信息蕴含着丰富的医学知识。如何有效地提高提取和利用海量医疗文本信息成为当下医疗信息化发展的巨大挑战,针对目前医疗文本标注数据的不足以及医疗实体边界模糊的问题,本文提出一种基于大量医疗文献预训练的字嵌入语言表示模型。该模型利用大量的医疗文献对BERT模型进行预训练,从而得到EMRBERT模型,再通过EMR-BERT对训练文本进行字嵌入向量表示,将结果输到Bi-LSTM模型,最后利用CRF模型进行输出得到最终的结果。通过多组对比实验证明,EMR-BERT+Bi LSTM+CRF模型最终结果优于目前主流模型。因此,该模型能够有效解决医疗电子病历领域命名实体识别任务下,标注数据不足以及实体边界模糊的问题。

论文目录

• 引言
• 1 相关工作
• 2 方法
•   2.1 BERT
•   2.2 预训练EMR-BERT
•   2.3 EMR-BERT+BiLSTM+CRF
• 3 实验
•   3.1 实验数据与评价标准及参数设置
•   3.2 实验方法的参数设置
•   3.3 实验比较与结论
• 4 结语

文章来源

类型: 期刊论文

作者: 丁龙,文雯,林强

关键词: 医疗电子病历,命名实体识别,字嵌入

来源: 情报工程 2019年06期

年度: 2019

分类: 信息科技,医药卫生科技

专业: 医学教育与医学边缘学科,计算机软件及计算机应用

单位: 南华大学计算机学院

基金: 湖南省教育厅优秀青年项目（18B279）,湖南省哲学社会科学课题（16YBA323）,湖南省“研究生科研创新”项目（CX20190737）,南华大学研究生教改项目（2016JG029）

分类号: TP391.1;R-05

页码: 65-74

总页数: 10

文件大小: 1481K

下载量: 251