文摘
糖尿病性视网膜病变(DR)是一种普遍的该疾病。激光标志着全凝固后留下的疤痕,治疗以防止严重博士患者失去视力。在这项研究中,我们发展一个基于轻量级U-Net深度学习算法从眼底照片颜色段激光标志,这可能有助于表明一个阶段或提供有价值的辅助信息博士照顾病人。我们准备训练和测试数据,手工注释由训练有素和经验丰富的年级从图像阅读中心,中山眼科中心,公开来填补空缺的公众形象数据集致力于激光标志的分割。轻量级U-Net,连同两个后处理程序,实现了AUC 0.9824,一个最佳的灵敏度为94.16%,和92.82%的最优特征分割眼底激光标志的照片。高精确的分割和数字指标,轻量级U-Net方法显示其性能可靠在眼底照片自动分段激光标志,这可能有助于博士的人工智能辅助诊断严重的阶段。
1。介绍
糖尿病性视网膜病变(DR)是糖尿病最常见的并发症之一,全球不可逆转的视力丧失的主要原因(1]。博士开发了严重的患者,全凝固(PRP)的一个主要治疗减少失明的危险。激光是在视网膜激光治疗后留下的疤痕。确定激光标志眼底照片的位置提供信息的接受了视网膜激光治疗,因此大量R3A的援助和r3博士阶段分级的糖尿病眼检查指导英国国民医疗服务制度(NHS)(英国)2]。R3A被列为活跃增殖(PDR)和至少一个博士博士以下活跃的增殖特征:新船盘,新船在其他地方,前或玻璃体出血,前膜纤维化有或没有拖引超然。r3是列为PDR的稳定阶段全激光治疗后,可以稳定前膜纤维化,但没有任何其他活跃的增殖特征[博士3]。r3稳定状态与全激光标记可以从积极R3A杰出,和这两个阶段的治疗方法是不同的2]。激光标志出现在鼻靠近视神经盘不小于500微米,时间接近黄斑中心不小于3000微米,并在上/下限,没有进一步比1后燃烧在颞拱廊,被认为是信号接收PRP (4]。病人诊断为r3可以监视在一年一度的屏幕,而积极的治疗如PRP或intravitreal注射vegf药物应该收到病人诊断为R3A [2]。此外,确定激光标记的位置是博士重视患者的后续治疗。例如,许多患者不能完成所有激光凝固在一个治疗和需要多次接收激光凝固,因为他们的疾病的进展或个人宽容。除此之外,如果患者发现新的活跃增殖在视网膜病变即使激光标志的存在,并列出可能恢复R3A博士,病人可能会敦促接受积极治疗(2,5]。在视网膜自动诊断系统中,激光的存在痕迹眼底照片可能阻碍进一步的视网膜图像评估(6]。因此,分段激光标志在眼底照片图像变得临床上重要。
传统的检测(6- - - - - -8和深刻的学习方法9)把精力检测激光标记的存在。然而,他们并没有给予足够的重视眼底照片上的确切位置的激光标记图像。传统方法,充分利用形态特征与激光标记检测,在某种意义上提供候选区域的激光标记,但提取候选区域往往是相对贫穷的不规则边界。深度学习的方法,这是一个最先进的机器学习技术,已经显示出它的优越性在一些疾病的诊断10- - - - - -12),特别是检查在眼科领域的博士(13- - - - - -16),直接从图像提取特征检测和达到相对侦探精度高,但这并不为其决策提供可翻译的解释(17,18]。此外,它一直是一个挑战在机器学习算法包括医学知识,特别是在深学习算法(11,18,19]。缺乏关注分段激光标志在眼底图像可能也在一定程度上导致困难获得图像数据由训练有素的眼科医生准确的注释。到目前为止,没有公众眼底照片数据集注释激光标记像素的像素。因此,很少有研究涉及激光标志在眼底照片图像的分割。
在这项研究中,深入学习方法,光线的版本U-Net [20.),名叫轻量级U-Net,适应段激光标志在眼底照片使用我们提出的数据集。轻量级U-Net眼底图像输入和输出的概率地图本地化的潜在地区激光标志。此外,改善了分割地图,我们介绍了两个后处理程序由临床实践。这些程序进一步提高分割精度的预测。well-performed模型将是很大的帮助眼科医生作为一个博士计算机辅助诊断系统的重要组成部分。
2。材料和方法
2.1。数据集
眼底照片与激光标记数据集在JPG或RGB图像JPEG格式,从图像获得阅读中心中山眼科中心、中山大学,中国。眼底照片收集临床部门的中山眼科中心,或筛选博士在中国慈善项目的生命线表示,或互联网公共数据。一组154眼底照片激光标志由两个subdatasets:一个包含84个图像手动分割图像阅读中心由经验丰富的年级只有一次,和其他包含其余70图像手动独立分割在图像阅读中心由三个经验丰富的年级。自84年手工分割图像的数据集相对粗糙,这可能导致更少的精确估计,我们只用pretraining会话。
第二数据集包含70张图片,三个有经验的年级的学生被要求确保所有像素标记为激光标志。黄金标准的图像被至少两个年级的标记。因为这个subdataset有更精确的手动分割,它被用来构建正式与金标准数据集。这70眼底照片被随机分为正式和50个图像训练集和测试集20图像,分别。
在我们的数据集,微动脉瘤、视网膜出血、渗出,柔软的渗出液,静脉瘤,intraretinal微血管异常,NVE / NVD、纤维增生,前出血,玻璃体出血,和牵引性视网膜剥离中发现约95.71%,98.57%,70.00%,12.86%,0.00%,11.43%,5.71%,2.86%,1.43%,0.00%,和0.00%的70张图片,分别。此外,在所有154眼底照片,75.97%是在r3阶段,3.25%是在R3A阶段,剩下的20.78%是其他阶段的照片。与PRP和51.30%的图像,42.21%是与局部视网膜激光标志。所有的激光标志在我们的数据在后期阶段。
应该注意的是,每一个形象中收集的数据集用于临床诊断,导致这些图像的特征不一致,因为照片是通过多个特定的相机模型,如卷,眼镜蛇,佳能。各种类型的相机拍摄的图像有不同的决议(从 像素 像素),fields-of-views(从45 - 60度),颜色(白色,黄色,红色,等等),眼底图像的中心(黄斑或视神经盘(OD),瞳孔直径,等等。所有这些变化导致了数据集的多样性,使一个更广义和健壮的深度学习激光标志分割算法。
2.2。图像预处理和扩充
至关重要预处理图像总结共性人为因为眼底照片的图像数据集大小不同,分辨率,由于摄像设备的多样性和色调。预处理帮助减少内在特性分布的差异。
首先,图片都做调整 像素。接下来的三个步骤先后上实现每个通道,消除亮度之间的方差图像输出的整体基调。的 - - - - - -分数标准化,导致图像均值为0,方差为1,使用下面的公式计算: 在哪里在训练集图像的总数,是像素的数量在一个通道的图像(一个吗 图像,像素的数量是 ),和 代表了三个通道(红、绿、蓝)的形象。和代表了像素值th的通道th形象, ,和 的均值和标准差对应像素点的图像训练集,分别。结果是调整特定像素的价值。
内部图像最小最大归一化随后,旨在重新将灰度值调整到0到255的规模。这个过程被启用 在哪里在前一步获得,和最小和最大的价值在th频道届图像,分别。和是最后的值限制在范围在0到255之间。
有限的自适应直方图均衡化的对比(CLAHE) [21)和伽马校正 (22顺序)进行以提高对比度的图像。然后除以255灰度值变换他们回到0和1的范围内。通过执行这些预处理步骤分别在所有三个频道,然后结合,对比可以有效地增强的激光标记和背景之间的特性差异引起的相机模型将削弱(图1)。
随机裁剪技术,有效地增加训练集由于数据不足(23]。总共有500000个补丁从正式的训练集,包含50中提取眼底图像。全黑补丁从外围黑色区域中提取包含任何信息将被排除在外。从每个训练图像,因此,10000年随机集中补丁 提取像素的大小。这个尺寸被选中,是因为补丁的大小可以确定是否有一个或两个激光标记的图像,从而使网络学习的特点,这些特定的病变。相应的地面实况标签补丁也(图中提取1)来匹配增强训练集,在测试过程中,我们裁剪图像成碎片 像素的大小,一个连贯的大小培训的。与训练集的中央位置是随机选择的,滑动操作步5(5像素都被感动了每一次)采用的测试将剪辑补丁。尽管原始图像的某些部分是重复了,即,the patches overlapped, it benefitted the accuracy of the prediction, as a single-pixel might be predicted several times. The patches cropped at the right or lower margins might not be of size 因为滑动操作的;这些图片大小不兼容的,我们用零填充策略具体的保证金(或利润)保留边缘信息。在我们的例子中,共有3364个补丁可以获得从一个形象。修改后的测试集的大小 像素被送入轻量级U-Net训练。预测结果的补丁被放置回创建原始图像的整体预测地图。最后的积分结果的算法将每个图像与每个像素预测地图指示的概率被诊断为激光标志,计算预测结果的总和除以频率的预测。
2.3。一个轻量级U-Net模型发展
轻量级U-Net王等人提出的结构。24),这种结构用于视网膜血管的分割单通道图像。我们的模型类似的结构王et al .,我们应用此方法部分激光眼底照片的标志。
U-Net结构主要由两条路径:“相互逆”承包路径和广阔的道路。在每个路径,密度卷积烈性黑啤酒,包括两个卷积层线性单元(ReLU)层,其次是纠正了将采样操作(承包路径)或upsampling操作(在广阔的路径)。
和主要的变化从U-Net轻量级U-Net是我们缩减规模的原始网络成three-scaled网络,这意味着只有5个密度卷积模块在整个结构。我们进一步调整hyperparameters结构:(1)功能通道的数量在每一块已经减半U-Net相比(2)填充策略是适应每一个卷积操作存储的边际信息(3)辍学层( )介绍了连续两个卷积层之间,以防止过度拟合
王等人提出的结构,他们用卷积过滤器的大小 和一个大步步骤2 down-sample特征图,但我们的模型只是与过滤器的大小max-pooling操作使用 缩减特征图。图2生动地显示了轻量级U-Net的结构。层的详细参数也呈现在图2。
我们使用转移学习技术参数初始化之前正式训练的网络图像包含准确标记激光标志。我们首先pretrained修改轻量级U-Net驱动数据集(25),眼底图像数据集共有40图像注释血管。同样,在开车经过40图像数据预处理,和增加程序用于pretraining之前上面提到的。尽管开车不是建立细分的激光标记,用它来pretrain网络确实有助于加速收敛的参数和获得更准确的结果,因为两个数据集共享类似的特征(26]。随后,我们pretrained轻量级U-Net大致与84年眼底图像的标签。这帮助网络掌握激光标志的粗糙的认知。
我们的扩展训练集随机分为批次,每个拥有128个补丁。百分之十的样本一批分裂进行验证。随机梯度下降法(SGD)申请参数优化通过最小化损失函数。的损失函数是pixel-wise直言crossentropy细分任务,以下哪一个公式计算的最终功能地图: 在哪里在一批显示像素的总数,也就是说, , 表示类的数量和代表了地面真理标签和预测的概率像素的th类,分别。网络参数(权重)保存测试是最小的重量的损失函数评估验证集。
2.4。后处理程序
PRP手术一般遵循一定的标准,有几个标准直接关系到定位和筛选激光标志眼底图像在临床实践中。这里有两个例子:(我)激光器不能传送OD和直径范围内的OD(2)激光不应该微笑着从黄斑中央窝在1500微米
我们开发了两个后处理程序来消除干扰预测地图基于这些标准。下面是一个粗略的描述算法。
第一个标准,所有的“疑似激光标志”ODs及其外围激光标志。因此,有必要在ODs排除假阳性判断。要做到这一点,我们首先位于ODs,然后抹去积极的决策在一个椭圆区域和ODs。我们应用深度学习的方法来定位ODs。深度学习的结构和轻量级U-Net培训过程都是相同的,除了它只是pretrained开车训练数据集,然后在眼底图像ODs手动分割。这眼底照片数据注解ODs收集和注释的图像阅读中心中山眼科中心。OD预测区域地图上每个细分确定最大连通域的二进制预测图,二进制预测图的分割阈值的灰度输出将0.5经验。这种方法已经被证明有效的定位和细分这个解剖结构在我们之前的实验数据集自身的形象:评估自身的测试集,接受者操作特征曲线下的面积(AUC)是0.9997,和敏感性,特异性,和准确性分别为93.90%,99.90%,和99.81%,分别。主要和次要的轴的椭圆区域覆盖在ODs测定最大的1.8倍x设在和y设在OD预测的长度。
第二个标准,我们所做的是非常类似的。黄斑区首次面向通过形态学特征使用江等人提出的方法。27),然后周围地区黄斑区域覆盖。消除更多的无礼的声音,覆盖面积macular-centered广场的两侧长80像素。这两个操作作为后端流程进一步优化预测结果。后处理的流程图呈现在图3。
2.5。Hyperparameter设置模型的训练
最初的学习速率 学习速率的因素减少0.3连续每十时代并没有改善验证的准确性。发病早期停止时验证准确性没有改善连续40时代。
2.6。统计分析模型的表现
统计分析使用Python 3.6.5(美国特拉华州威尔明顿),也用于图像处理和轻量级U-Net实验。灰度图像作为算法的结果,提供一些浅颜色明亮的域之间可能通知年级学生聚集的激光标记。评估的表演轻量级U-Net及其结合两个后处理程序,计算评价指标。我们画接受者操作特征(ROC)曲线和计算AUC。此外,我们提出了最优对ROC曲线上的敏感性和特异性。最优的选择是基于Youden指数(28),定义为敏感性和特异性的总和减去1,也就是说,
骰子相似系数(DSC)可以显示两个集合之间的重叠区域的百分比(预测地图和手册分割地图)。它等于两倍的两集的交集的元素数量除以每组的元素数量的总和。相应的公式如下: 在哪里 正确数量的像素分割表示为激光标志(真阳性),像素错误分割作为激光标志(假阳性),和像素错误检测为背景(假阴性),分别。
3所示。结果
在使用数据集提出之前,我们做了一个五倍crossvalidation验证随机性选择训练集和测试集。70年精心标记图像被随机分成五个折叠,并且每个折叠包含14图像。然后,五倍的被选为测试集,和其他四个折叠后的训练集的验证实验。ROC曲线的五crossvalidation实验没有后处理程序和ROC曲线都呈现在图4。auc的最大值和最小值分别为0.9833和0.9706,分别。这两个极端的AUC值形成的间隔覆盖0.9798,表明原部门的训练集和测试集相对随机的。
为模型评估,ROC曲线预测仅通过轻量级U-Net和后处理过程呈现在图5。敏感性和特异性的优化对ROC曲线和pixel-wise精度对应表所示1,它包含一个测试的结果由轻量级U-Net和网络训练与后处理。20个测试图像的AUC是0.9824的轻量级U-Net结构与后处理程序,相比AUC指数增加了0.26%的AUC结构没有这些程序。最好的敏感性、特异性和准确性的轻量级U-Net后处理程序分别为94.16%,92.82%,和92.90%,分别实现,分别上升0.61%,0.66%,和0.65%相比光结构没有后处理程序。和DSC也验证了结果的后处理过程带来了一个小进步。小规模的改善可能导致低概率的ODs和黄斑区域周围的声音。后处理程序的效果评价指标没有影响一样大的显示分割结果。的原始预测图像产生的轻量级U-Net和相应的位预测图像被显示在图6。后处理程序后,噪音和ODs和黄斑区域被移除,离开更清晰和更精确的分割结果。最后,算法根据PRP诊断设计的定义,和预测结果用于验证测试集,通过激光的预测标志的敏感性,特异性,和我们的算法精度是80%,100%,和90%,分别。
定量评估和预测地图显示,结合之前的医学知识改善深学习算法的性能,从而能达到一个好的结果即使有少量的数据。
4所示。讨论
我们所知,我们第一次轻量级U-Net开发,深入学习算法用于段激光标志着本研究在眼底照片。传统的检测方法也关注激光标志着从眼底照片6- - - - - -8]。一方面,一些细节的报道方法,比如一些关键参数,文章中提供的不明显;所以,我们不能用准确的参数得到良好的性能结果。另一方面,激光标志着传统形态的分割方法是相对贫穷的和粗糙,对形态学方法不准确提取候选区域。相反,深度学习的方法可以学习激光视网膜病变的基本特征训练已标示数据集和执行比形态学方法(29日]。神经网络训练数据集和评价的小说眼底照片与激光标志着在这个研究。此外,两个后处理程序由临床标准的PRP手术结合轻量级U-Net进一步改善分割结果。高数值指标和灰度输出画面显示轻量级U-Net可以用来分开上的激光标记眼底图像,从而为博士提供可见的解释的计算机辅助系统的诊断。
人工智能的最大挑战是深入学习算法的可解释性。当深学习模型检测到一个眼底照片博士作为一个图像,它总是发出诊断没有提供更多的解释的原因决定。在这项研究中,我们首先采用了卷积神经网络用于图像分割,检测激光的轻量级U-Net,标志着从眼底照片。这个网络类标签分配给每个像素的图像和基于像素的方法在某种程度上可视化r3博士阶段的诊断不仅提供的分割概率地图的疑似位置激光标志但眼科医生的有价值的信息,谁能充分考虑患者的综合条件,从而能够提供更准确和适当的关心和调整治疗方案的患者焦博士或网格激光标志着我们的数据由于糖尿病黄斑水肿相对较轻,小,不如激光斑点色素在视网膜的其他部分。而经验丰富的年级在我们的研究标志着各种激光标志包括焦或网格激光标志准确,我们结合不同的激光标记图像一起训练的深度学习算法。因此,它不会减少在测试集分割的准确性。与其他算法相结合,PRP可准确诊断根据激光标志的分割,和PRP的诊断准确性测试集是90%,协助解释r3的诊断。所有的激光标记不同的颜色或大小用于分割在这项研究来自患者的眼底照片博士然而,视网膜激光是治疗不同的疾病的特点相似,和算法在我们的研究中也可以作出准确的预测激光标记在眼底视网膜静脉阻塞患者的照片或周边视网膜优惠。
构建计算机辅助诊断系统的另一个主要挑战是,医学知识很难与深度学习算法合并。结合之前的医学知识无疑提高了决策的准确性深学习模型。目前解决这一挑战的工作合作multimodels的结果,这是后处理的分割结果轻量级U-Net。根据临床实践,周边地区OD和黄斑区域不允许出现激光标志,我们应用一个类似深网络结构包含OD的椭圆区域和经典形态学操作来定位黄斑周围地区然后去噪。这两个程序都根植于临床实践,使结果更接近现实。ODs及其外围的覆盖率提高了轻量级U-Net结果超过黄斑区域的覆盖率,这可能是因为ODs和激光标记共享更多的形态特征,导致更多的错误分类视神经盘轻量级U-Net领域模型。结合后处理过程不需要年级努力将大量的激光标记。培训的数据量相对较小,随着合作与其他模型,细化结果包含先验能获得医疗经验。后处理程序来自于临床实践在这项研究轻量级U-Net的效率增加。结果从多个模型连接在我们的研究中是一个简单但有效的方法将医学知识。
在我们研究中仍有一些局限性。首先,我们的模型显示其高可靠性在区分大多数从视网膜激光标志,但仍很难区分一些噪音分享相似的形态特征。因此,我们将试着调整图像在预处理和合并局部信息与全局信息在未来。第二,训练集的眼底照片的数量仍相对较小。更多的训练图像来自不同人群,模型会更健壮的和准确的。
5。结论
本研究开发了位轻量级U-Net准确、可靠地段激光标志在眼底照片AI-assisted诊断博士的在不同的阶段,可能减少眼科医生的工作负载在各种眼底疾病在某种程度上在不久的将来。
数据可用性
原始数据和相应的标签的训练和测试集是公开作为附件。
的利益冲突
作者宣称没有利益冲突。
作者的贡献
y江、j .锅和m元同样作为第一作者的贡献。
确认
这项研究得到了国家自然科学基金(批准号81770971),国家自然科学基金委的广东省,中国(批准号2020 a1515010617) y罗博士,国家重点实验室开放研究基金的眼科(批准号2019 kf02)和中国国家自然科学基金(批准号11771462)王博士x。