摘 要：在基于电子胃镜影像的上消化道疾病智能辅助决策过程中，现有的方法较少涉及胃镜图像的可疑病灶定位和细粒度分类，且服务延迟较高。此外，这类方法所采用的传统数据扩充方法更进一步的降低了辅助决策方法的实际性能。因此本文提出了基于电子胃镜影像的上消化道疾病智能辅助诊断框架，首先使用条件对抗生成网络实现原始胃镜图像数据增强，然后设计k-Lconv模块，在此基础上开发上消化道病灶检测方法Lconv-YOLO，并利用来自某三甲医院真实的临床数据进行方法验证。实验结果表明，相比同类方法，本方法能够有效提高上消化道疾病推断的平均精度和病灶定位精度。本方法将平均检测一帧胃镜视频的时间缩短至6.73ms，敏感性和特异性分别达到79.39%和87.94%。满足电子胃镜检查过程中的视频帧实时高精度辅助诊断决策。
关键词：智能辅助决策；电子胃镜；上消化道疾病；病灶检测；深度学习
1 引言
随着城市化、工业化、老龄化的加快，上消化道癌已成为威胁全球人类的恶性肿瘤之一[1]。食管癌、贲门癌和胃癌并称为上消化道癌，且胃癌和食管癌分别是世界第四大和第九大最常见的人类恶性疾病，也是导致癌症相关死亡的第二大和第六大原因[2]。目前，上消化道癌的治愈率很低，五年生存率仅15%-20%[3]。上消化道癌早期发现和治疗是目前提高上消化道肿瘤防治水平的关键。
依托电子胃镜的上消化道疾病内镜筛查可提前发现潜在的浸润癌和早期癌以及癌前病变患者，大幅提高早期发现概率，早期上消化道癌症的5年生存率可提高至80%[4]。在临床实践中，医生可以操控电子胃镜探头获取食道、贲门、胃和十二指肠等不同部位的内镜影像，并结合上消化道主要疾病的影像学特征，发现癌症、炎症、溃疡、息肉等疑似病灶，进而给出内镜诊断。然而，生理环境不稳定、病灶形态多样且较为隐蔽、医生临床经验的客观差异，都会导致依托电子胃镜系统的上消化道肿瘤筛查存在较高的误诊率和漏诊率[5]。Kang等人研究显示，胃镜检查操作经验10年以下者漏诊率和误诊率约为25%左右[6]。此外，电子胃镜系统在发展中国家的大规模普及，使得胃镜检查医生通常需要承担高强度的胃镜检查工作。
通过对石门全县范围进行土地质量及硒含量调查，研究富硒土壤成因规律，评价土壤及柑橘富硒程度，可得出以下结论：
由于深度学习方法能够有效克服传统机器学习方法存在的特征提取的主观性、高维特征无法提取等问题，学术界和产业界正在兴起以深度学习技术为基础的临床决策方法研究热潮[7-9]。基于电子胃镜影像的智能辅助决策对于提高上消化道疾病筛查效率、降低医生工作负担具有重要意义。王智杰等人利用长海医院消化内镜中心数据构建和验证一个用于早期胃癌自动识别的深度学习模型，旨在提高早期胃癌的识别傅诊断水平[10]。Van等人开发了基于人工智能的巴雷特氏食管诊断系统，能够自动检测早期腺癌[11]。Hao等人设计基于自适应增强的多柱神经网络模型实现动态胃癌筛查[5]。Hirasawa等人使用Single Shot MultiBox Detector(SSD)检测早期和晚期胃癌病变位置[12]。
上述已有的研究主要围绕上消化道的食管或胃等某一部位的粗粒度疾病辅助诊断，未能实现上消化道疾病细粒度疾病筛查与病灶定位。且已有的研究在进行临床智能辅助决策过程中，具有较高的服务延迟，无法实时辅助诊断。
随着科学技术和社会经济的不断发展，农业经济领域为了发展产量和生产效率，不断推广农业机械及其技术的应用，逐渐填补了农民工进城打工后留下的农田，使农业跟随工业逐渐迈入机械化、自动化、信息化发展序列。我国是一个粮食自给自足比较勉强的国度，可供粮食作物种植的田地数量有限，使用农业机械并不断发展机械技术成为我国农业发展的必经之路，笔者将在本文中针对农业机械技术的发展及前景进行简单阐述。
上消化道病灶检测算法Lconv-YOLO采用端到端方式对胃镜视频实时病灶检测。将每一张胃镜图像分成S×S的网格，并在每一个网格上进行病灶检测。类似于YOLOv3算法，我们的方法回归每一个网格上捕获病灶的准确定位和对应的疾病分类。
汽封间隙调整是汽封改造的关键，为保证改造效果，所有间隙均取设计值、前次改造值的下限。鉴于本次大修时，解体发现所有下部汽封磨损较为严重，而高中压隔板及轴封上部汽封均完好，故决定将上部汽封的间隙值在上述数值上再降低0.2 mm。
时至今日，我依然能清晰地记得那个黄昏，我奔跑在街道上的情景：无数汽车在我身后匆忙刹住，排山倒海的喇叭声响彻耳边，犹如一群蜜蜂在鸣叫，宣告着采摘到蜜一样的幸福。
2 数据增强方法
条件生成对抗网络的网络结构示意图如图1所示，主要由两个模块组成，生成网络和判别网络。生成网络根据输入的满足高斯分布的随机噪声以及对应的胃镜样本标签模拟出胃镜图像，判别网络将模拟的胃镜图像和样本标签作为输入，判别生成网络所生成的胃镜图像是否可以混淆真实图像，以及生成的胃镜图像是否对应于样本标签。生成网络和判别网络以竞争性学习的方式达到训练目的，生成以假乱真的胃镜图像。
为应对以上挑战，我们首先基于条件生成对抗网络[13-14]实现胃镜图像数据库的增强，其次，设计k-Lconv模块，在此基础上开发上消化道病灶检测方法Lconv-YOLO，最后，利用来自某三甲医院真实的临床数据进行方法验证。
深度学习需要大量的训练样本，然而由于胃镜图像的标注工作需要专业医生的参与，时间和经济成本昂贵。为显著降低将深度学习技术应用于医学影像智能决策分析的标注成本，本文首先将上消化道疾病数据进行分类，并利用条件对抗生成网络针对数据量稀缺的胃镜影像数据进行扩充。
通过条件生成对抗网络扩充胃镜影像数据，为上消化道病灶检测模型提供了更多的数据，防止了算法的过拟合。
图1 条件生成对抗网络的网络结构示意图
3 上消化道病灶检测算法
“精神富有”是一个理论问题，更是一个实践问题。省十三次党代会将现代化浙江定位为“物质富裕、精神富有”之后，绍兴也迅速做出呼应，并赋予“精神富有”以绍兴内涵加以传播和实践。正是在这样的背景下，本文试从实践的层面，将精神形态特征明显的文艺创新置于“精神富有”的视域之中，开展若干问题的调查与思考。
接着，我们进一步搭建基于电子胃镜影像智能辅助决策的上消化道病灶检测算法Lconv-YOLO。其结构示意图如图3所示，包括k-Lconv模块、convolution层，pooling层，route层，upsample层和yolo层。k-Lconv模块、convolution层和pooling层用来提取胃镜视频帧中的特征信息，两个yolo层分别从13×13网格和26×26网格这两个尺度对疑似病灶进行检测和分类。route层和upsample层分别在构建特征图过程中实现跳层信息的链接和上采样。考虑到Anchors设计对模型精度和召回率的显著影响，我们结合病灶形态的客观差异，采用k-means方法自动设置每一类上消化道疾病适用的anchor box尺寸。
图2 k-Lconv模块网络结构
我们设计了k-Lconv模块用于提升病灶识别效率。k-Lconv模块是将原算法中的k个3×3标准卷积核分解为两部分：1个3×3的深度卷积核和k个1×1的逐点卷积核。这种设计可以将胃镜图像的空间信息和参数信息去耦，减少图像分析成本、增加网络深度。在提高疾病筛查的敏感性和特异性的同时降低服务响应时间。图2给出了新设计的k-Lconv模块的网络结构快照。
同时，由于医疗行业数据的稀缺性以及高质数据获取过程困难，深度学习方法往往无法得到充足的医疗数据支撑。为此，过去常采用数据增强方法以满足深度学习需求，这类方法利用水平反转、随机切割等方式增加实验所需数据。但是这类方法的多样性受限于数据源本身的特征，并导致实验结果拟合程度有限，难以训练出具有高鲁棒性的深度学习系统，更无法将系统应用于临床。
4 实验结果与分析
4.1 实验数据及评价指标
我们采用某三甲医院真实的从2016年3月到2017年9月的共计8883份有效的胃镜检查病例。每份病例包含8到40不等的胃镜图像。图4展示了一例完整的上消化道胃镜检查数据。由于不同疾病的患病率不同，患病率低的疾病样本量相对较少。为了提升模型的稳健性，避免模型出现过拟合，我们采用上述数据增强方法对样本量少的疾病病例进行了数据扩充。经5名消化科专家医生的筛选后取交集，获得带可疑病灶的阳性样本26123张，并使用LabelImg软件对异常胃镜图像进行了病灶标注和疾病分类。
实验采用敏感性(Sensitivity)、特异性(Specificity)、误诊率(Misdiagnosisrate)、漏诊率(Misseddiagnosisrate)、病灶检测结果与真实标记结果的交叠率(IOU)以及服务响应时间作为评价指标。它们的计算公式如下：
为了帮助医生提高胃镜检查效率、降低上消化道疾病筛查的漏诊率和误诊率，我们设计了用于协助医生胃镜诊疗决策的智能辅助决策方法。近年来，由于在移动或嵌入式环境下视频处理的高精度、低计算负载等优异特性，YOLO算法开始被应用于人脸识别、无人车等目标检测场景[15]。为了进一步降低上消化道病灶检测服务响应时间，提高疾病诊断的敏感性和特异性，我们在YOLOv3-tiny算法的基础上设计了新的基于k-Lconv模块的上消化道病灶检测算法Lconv-YOLO。该算法可以采用小型深度神经网络结构，通过学习胃镜图像的多层次表示和抽象可以快速发现感兴趣的病灶位置和疾病分类。
图3 Lconv-YOLO网络结构示意图
图4 胃镜检查数据
其中，TP表示模型预测正确的阳性样本的数量，FN表示模型预测错误的阳性样本数量。TN和FP采用相同的定义。GT表示胃镜图像上真实的病灶区域，DR表示模型所预测的病灶区域。
4.2 实验结果及分析
本实验中，我们从两个维度进行对比实验。首先，我们使用常用的深度学习算法AlexNet、GoogLeNet、VGGNet构建了符合我们数据特征的疾病分类模型。接着与流行的目标检测方法YOLOv3、YOLOv3-tiny、Faster-RCNN、RetinaNet和SSD进行对比，分别计算上述指标，对比实验结果如表1所示。图5展示了Lconv-YOLO所检测到的部分视频帧中病灶。
图5 病灶检测结果
表1 实验结果比较
方法敏感性特异性漏诊率误诊率IOU服务时间AlexNet61.55%75.93%38.45%24.07%/10.35msGoogLeNet68.83%68.93%31.16%31.06%/12.54msVGGNet69.66%66.94%30.334%33.06%/21.06msYOLOv388.81%88.66%11.19%11.34%82.54%21.90msYOLOv3-tiny75.88%85.99%24.12%14.01%81.44%7.468msFaster-RCNN68.54%79.58%31.46%20.42%63.66%189.1msRetinaNet53.35%77.28%46.65%22.72%46.35%694.1msSSD64.14%67.22%35.86%32.78%62.15%69.52msLconv-YOLO79.39%87.94%20.61%12.06%81.68%6.73ms
由表1可以看出，所提出的上消化道病灶检测方法Lconv-YOLO在敏感性、特异性、漏诊率、误诊率、病灶检测结果与真实标记结果的交叠率以及服务响应时间这些评价指标上都显著优于竞争的方法。同时还可以推断，所提出的Lconv-YOLO相对于YOLOv3-tiny在疾病筛查时敏感性和特异性更高，服务延迟更短，证明了所提出的k-Lconv模块对提高模型的性能和降低服务响应时间的重要意义。此外，Lconv-YOLO在敏感性上虽然不如YOLOv3，但其特异性可以达到接近YOLOv3的水平，且服务响应时间显著小于YOLOv3，可以达到实时辅助决策的目的。
里奥哈的陈年规定本就比其他西班牙产区严格，而唐园（Viña Tondonia）是传统里奥哈的极致表现，在美国旧橡木桶中进行超长时间的陈年，酒中永远萦绕着迷人的氧化风味，但骨子里又不失活跃的灵魂。氧化风格的唐园（Viña Tondonia）白葡萄酒是他们的骄傲，圆润平衡，富有香料、苦杏仁、香草和核桃的风味，这种魅力很难在其他白葡萄酒里找到。而更值得一提的是特级珍藏（Gran Reserva）桃红，10年左右才出一个年份，可谓陈年葡萄酒中的极品。
5 结语
医生在胃镜检查时存在难以定位病灶，误诊率和漏诊率较高的问题。本文提出一种新颖的智能病灶检测算法框架Lconv-YOLO，用于辅助医生病灶定位和疾病诊断。在该算法框架下，设计了k-Lconv模块，在提高病灶定位精度的同时降低算法的复杂性。此外，本文基于条件生成对抗网络实现胃镜图像数据库的扩充，有利于高鲁棒性深度学习模型的训练。
经实验验证，该人工智能算法的应用能够有效提高上消化道疾病的病灶检测和癌症筛查水平，并且可以达到实时辅助诊断的目的。同时，本研究具有很好的移植性，经权重微调后可以推广到临床上结肠镜、腹腔镜检查辅助决策中。
参考文献：
[1] 曲卫华, 颜志军. 环境污染、经济增长与医疗卫生服务对公共健康的影响分析——基于中国省际面板数据的研究[J]. 中国管理科学, 2015, 23(7):166-176.
[2] Torre L A, Siegel R L, Ward E M, et al. Global cancer incidence and mortality rates and trends-An update.[J]. Cancer Epidemiol Biomarkers Prev,2016,25(1):16-27.
[3] Rodríguez-Camacho E, Pita-Fernández S, Pértega-Díaz S, et al. Clinical-pathological characteristics and prognosis of a cohort of oesophageal cancer patients: A competing risks survival analysis[J]. Journal of Epidemiology, 2015, 25(3):231-8.
[4] Menon S, Trudgill N. How commonly is upper gastrointestinal cancer missed at endoscopy? A meta-analysis[J]. EIO, 2014, 2(2):46-50.
[5] Wang Hao, Ding Shuai, Wu Desheng, et al. Smart connected electronic gastroscope system for gastric cancer screening using multi-column convolutional neural networks[J]. International Journal of Production Research, 2018: 1-12.
[6] Kang L N, Qiao R L. Cancer screening and prevention in China[J]. Cancer Control, 2014, 8: 131-133.
[7] 梁昌勇, 顾东晓, 范昕,等. 面向不确定多属性决策问题的范例检索算法研究[J]. 中国管理科学, 2009, 17(1):131-137.
[8] 孔繁辉, 李健. 供应中断风险下OEM供应链弹性运作与提升策略[J]. 中国管理科学, 2018, 26(2): 152-159.
[9] Bourouis A, Feham M, Hossain M A, et al. An intelligent mobile based decision support system for retinal disease diagnosis[J]. Decision Support Systems, 2014, 59: 341-350.
[10] 王智杰, 高杰, 孟茜茜,等. 基于深度学习的人工智能技术在早期胃癌诊断中的应用[J]. 中华消化内镜杂志, 2018, 35(8):42-46.
[11] van der Sommen F, Zinger S, Curvers W L, et al. Computer-aided detection of early neoplastic lesions in Barrett’s esophagus[J]. Endoscopy, 2016, 48(7): 617-624.
[12] Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images[J]. Gastric Cancer, 2018, 21(4): 653-660.
[13] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems,December 8-13, Montréal, 2014: 2672-2680.
[14] Wang Yan, Yu Biting, Wang Lei, et al. 3D conditional generative adversarial networks for high-quality PET image estimation at low dose[J]. NeuroImage, 2018, 174: 550-562.
[15] Shinde S, Kothari A, Gupta V. YOLO based human action recognition and localization[J]. Procedia computer science, 2018, 133: 831-838.
ResearchonSmartDecision-MakingMethodforUpperGastrointestinalDiseasesBasedonElectronicGastroscopicVideo
LILing，DINGShuai，LIXiao-jian，YANGShan-lin
(School of Management, Hefei University of Technology, Hefei 230009, China)
Abstract： With the acceleration of urbanization, industrialization and aging, upper gastrointestinal cancer has become one of the malignant tumors threatening the whole world.Disease screening using electronic gastroscope can detect potentially invasive, early stage, and precancerous patients in advance. The decision-making method for electronic gastroscopic image analysis based on deep learning is of great significance to improving the diagnostic efficiency and reducing doctors’ working burden. However,in the process of decision-making for upper gastrointestinal diseases diagnosis, the existing methods are less involved in lesion detection and fine-grained classification and suffer from high computation time. There is a significant gap with the need of computer-aided decision-making in clinical practice. In addition, the traditional data augmentation strategies used in existing methods further reduce the actual performance of the decision-making methods. Therefore, a smart auxiliary diagnosis framework for upper gastrointestinal diseases based on electronic gastroscopic video is proposed in this paper. Firstly, the Conditional GAN is used to realize the enhancement of the original gastroscopic image, and then the k-Lconv module is designed for reducing computational complexity while improving accuracy of algorithm. Based on the YOLO-tiny algorithm, the upper gastrointestinal lesion detection algorithm Lconv-YOLO is developed. Lastly, the real clinical data from a Grade-Ⅲ Class-A hospital in China is used for test. The experimental results show that compared with other competitive methods, Lconv-YOLO can effectively improve the average accuracy of the upper gastrointestinal disease classification and lesion localization. The method shortens the time for detecting a frame of gastroscopic video on average to 6.73 ms, and the sensitivity and specificity reach 79.39% and 87.94%, respectively. It can meet the real-time high precision computer-aided diagnostic decision-making of video frames during electronic gastroscopy. The application of Lconv-YOLO can assist doctors in real-time diagnosis during gastroscopy and reduce the rate of missed diagnosis and misdiagnosis.
Keywords： smart decision-making; electronic gastroscope; upper gastrointestinal diseases; lesion detection; deep learning
中图分类号：R197.3
文献标识码：A
文章编号：1003-207(2019)11-0211-06
DOI:10.16381/j.cnki.issn1003-207x.2019.11.021
收稿日期：2018-09-25； 修订日期：2019-04-18
基金项目：国家自然科学基金资助项目(91846107，71571058，61903115)；安徽省科技重大专项资助项目(17030801001，18030801137)
通讯作者简介：李玲(1996-)，女(汉族)，安徽安庆人，合肥工业大学管理学院，博士，研究方向：医疗人工智能与医疗机器人，E-mail：cynerelee@mail.hfut.edu.cn.
标签：胃镜论文; 病灶论文; 消化道论文; 疾病论文; 方法论文; 社会科学总论论文; 管理学论文; 决策学论文; 《中国管理科学》2019年第11期论文; 国家自然科学基金资助项目(91846107; 71571058; 61903115)安徽省科技重大专项资助项目(17030801001; 18030801137)论文; 合肥工业大学管理学院论文;