文摘

提取视网膜血管准确是非常重要的诊断某些疾病如糖尿病视网膜病变、高血压和心血管疾病。临床上,有经验的眼科医生诊断这些疾病通过手动分割视网膜血管并分析其结构特征,如曲折和直径。然而,手动分割视网膜血管是一个耗时和费力的任务,并有很强的主观性。视网膜血管自动分割技术不仅可以减少眼科医生的负担而且还有效地解决这个问题,是缺乏有经验的眼科医生在偏远地区。因此,视网膜血管自动分割技术具有重要意义的临床辅助诊断和治疗眼科疾病。本文提出了一种方法使用SegNet改善视网膜血管分割的准确性。视网膜血管分割的性能评估模型与SegNet三个公共数据集(驱动器,凝视,HRF)和实现精度0.9518,0.9683,和0.9653,灵敏度为0.7580,0.7747,和0.7070,特异性为0.9804,0.9910和0.9885,得分是0.7992、0.8369和0.7918,MCC的0.7749,0.8227,和0.7643,AUC的0.9750,0.9893,和0.9740,分别。实验结果表明,提出的方法在本研究提出更好的结果比许多经典方法研究和性能将会有临床应用前景。

1。介绍

视网膜血管位置其实也很重要作为结构代表视网膜解剖标志。例如,先前的研究已经表明,在青光眼视网膜血管位置相对稳定和眼睛视网膜血管位置不同视网膜对应不同的构建,可以使用现有的规范数据诊断准确性的影响。

与生活方式的改变,糖尿病等疾病的发病率,青光眼,现代社会和高血压有显著增加(1]。这些疾病可能会导致视网膜病变,严重情况下可能导致视力损害和失明。他们可以被分析的非侵入性诊断视网膜血管等位置的结构特点(4和弯曲度和直径2]。如果这些结构性变化可以在早期被发现,它将发挥重要的作用在治疗这些疾病的3]。临床诊断这些疾病是由经验丰富的眼科医生的部分视网膜血管手动获取他们的结构特点。然而,手动分割视网膜血管是繁琐的,需要耗费大量的时间和精力(8]。自动分割视网膜血管可以减少经验丰富的眼科医生的工作强度,客观性和可重复性。它还可以有效地解决这个问题,是缺乏有经验的眼科医生在偏远地区。因此,视网膜血管自动分割技术具有重要意义的临床辅助诊断和治疗眼科疾病。

由于不均匀亮度的影响,低对比度,视网膜病变,视网膜结构和其他如视神经盘、视网膜血管彩色眼底图像的自动分割是一个具有挑战性的任务。然而,对于具有重要意义的辅助治疗,在这一领域有很多的发现。提取视网膜血管,曹等人提出了一个方法与匹配滤波和自动阈值和获得0.9174驱动数据的准确性(6]。视网膜血管分割方法蔡等人提出了一个基于阶段拉伸变换和多尺度高斯滤波器,它可以提高分割精度(5]。细血管分割是很困难的。周等人提出了一个方法和一个探测器,隐马尔科夫模型(HMM)和去噪的方法来解决这个问题。它测试驱动,数据集和获得高特异性的0.9803和0.9992 (18]。上面的大多数研究表明,薄或低对比度血管分割的敏感性较低。提高细分敏感性,·索默洛等人提出了一个方法包括主成分分析等模块color-to-gray标准化转换和规模因素(7]。汗等人使用一些对比度归一化方法来提取视网膜血管和获得最终的融合21]。这些方法不需要地面真理(hand-labelled)图像自动无监督方法。

除了无监督方法,一些研究人员提出监督方法,需要地面实况图像训练分类器。黄等人意识到一种监督学习方法使用一种改进U-Net以23卷积网络层,和开车的准确性,凝视,HRF数据集是0.9701,0.9683,和0.9698,分别。然而,其曲线下的面积(AUC)仅为0.8895,0.8845和0.8686 (20.]。梁等人融合的线性特征,纹理特征,和其他功能的视网膜血管训练随机森林分类器实现自动分割视网膜血管的9]。赖昌星等人有效地融合数学形态学,匹配过滤器,尺度空间分析、多尺度线检测、视网膜血管分割和神经网络模型来实现(10]。福等人认为视网膜血管分割边界检测问题,分段船舶通过结合卷积神经网络和连接条件随机场(11]。奥兰多等人提出了一个有区别地训练条件随机域模型连接段视网膜血管(12]。Liskowski和Krawiec提出一项监督分割方法,使用一种深层神经网络提取视网膜血管从眼底图像13]。然而,这仍然是一个巨大的挑战与高段血管分割的敏感性和准确性。

虽然这些方法取得一些研究成果,多数方法的性能还需要改进,尤其是细分精度。在这个研究中,提出了一种方法使用SegNet获得更高的准确性和AUC。本研究的贡献是突出:(1)眼底图像的训练样本数据集通常很小。放大的方法训练样本在这个研究是为了改善SegNet的精度和泛化能力。它从眼底图像中提取图像补丁并进行仿射变换(2)本研究的方法可以有效地提高视网膜血管分割的性能,不仅可以减少对薄oversegmentation船只还可以段视神经盘附近的船只和病变区域很好(3)很多实验都是在开车,凝视,HRF数据对该方法的性能进行评估。结果表明,准确性和AUC高于其他方法

本文组织如下。节2详细介绍、方法和材料。评价指标对该方法中所描述的部分3。实验结果和讨论部分所示4。最后,一些结论部分完成5。

2。方法和材料

2.1。材料

该方法是评估在国际公共可用的数据驱动(22,盯着23],HRF [24]。眼底图像的驱动是糖尿病性视网膜病变筛查项目在荷兰。他们收集的佳能CR5,受试者的年龄从25到90岁。数据集由40彩色眼底图像的分辨率 。它分为两个子集包括训练和测试数据集。每个子集有以下:训练数据集包含20眼底视网膜血管二进制图像及其图像由一个专家手动分割和测试数据集包含20眼底图像和他们每个人有两个二进制图像由两位专家手动分割。摘要二进制图像分割作为第一个专家手动地面实况图像。

盯着数据集收集,于2000年出版。它包括20眼底图像,其中有10个图像与病理变化和其他健康的眼底图像。他们的决议是 。每个图像由两位专家手动分割,手动和二进制图像分割作为第一个专家地面实况图像。有10测试图像和训练图像的研究。

HRF数据集是目前所有眼底的最高分辨率数据集。它包括15青光眼视网膜眼底,15糖尿病视网膜病变视网膜眼底,15名健康视网膜眼底的决议 。每个图片都有一个手动分割结果。训练数据集包含36眼底图像包括12青光眼视网膜眼底,12糖尿病视网膜病变视网膜眼底,12个健康的视网膜眼底。和左边的图片是测试数据集。

本文在Python 3.6机器学习库Keras SegNet模型训练和测试用于视网膜血管分割。在这个研究中,PyCharm 2020.1和2020.2 Anaconda3作为python IDE,后端软件需要tensorflow 1.15.0, Keras 2.3.1, Matplotlib 3.3.4, scikit-learn 0.22.1,等等。训练和测试的实验平台是NVIDIA Geforce泰坦RTX 24 g GPU英特尔至强的银4210 2.2 g GPU。

2.2。方法

提出了研究方法的总体流程图如图1。首先,眼底图像,转换成灰色的图片首先,与contrast-limited自适应直方图均衡化预处理(CLAHE)和规范化。然后,训练样本与提取图像补丁和仿射变换放大。最后,SegNet模型构造和训练部分视网膜血管。

2.2.1。预处理眼底图像

为了减少背景干扰和噪声的影响,提高对比度的视网膜血管,加快算法的收敛速度,并改善学习性能SegNet模型,需要预处理眼底图像如图2。视网膜血管分割是一个非常困难的任务提取薄的血管。根据preexperiment,它可以提高细血管的对比,使用方法,RGB图像转换为灰度图像。和考虑每个通道图像的色彩理论和特征,彩色图像的“img”转化为“灰色”的形象与以下方程: 在哪里 , ,和是红、绿、蓝通道图像的组件“img”序列,分别。

在研究了转换后的灰度图像的特点,减少噪声的影响,改善视网膜血管的对比,他们与CLAHE预处理。为了便于数据处理和改进模型的收敛速度,眼底及其地面实况图像都是标准化的。他们归一化方程(2)和方程(3),分别。和像素的灰度值在0和1之间。 在哪里归一化图像的灰度图像吗 。 在哪里地面实况图像的归一化图像吗 。

2.2.2。放大训练样本

眼底图像的训练样本数据集通常很小。然而,SegNet建筑大量的重量参数。它需要大量的训练样本来提高精度和泛化能力。如果网络训练直接与眼底图像,这将导致过度拟合。所以,训练样本应该被放大。放大训练样本算法提取图像补丁和仿射变换,包括他们描述如下:(1)提取图像补丁。提取图像补丁时,有必要确认是否再加工的图像的高度和宽度可分为完全补丁的高度和宽度,分别。如果它不能整除,再加工的形象应该延长方程(4)和方程(5),和一个新的形象将会获得

在该方法提取图像补丁的顺序从左到右,从上到下,如图3。首先,第一行提取的图像补丁,然后,其他行依次提取。最后,补丁集获得和 ,在哪里是一个图像补丁和是提取秩序。 在哪里和再加工图像的高度和宽度吗 ,分别;和新形象的高度和宽度吗 ,分别;和高度和宽度的区域扩展,表示为方程(6)和方程(7),分别。 在哪里和是图像的高度和宽度,分别。通过比较和分析模型训练曲线和视网膜血管分割结果在不同的块大小,最终值和两者都是在拟议的方法。(2)仿射变换。为了进一步扩大训练样本的大小,每个图像块顺时针旋转中心点,变换矩阵显示如下: 在哪里代表的角度旋转和 。

2.2.3。构建和训练SegNet模型视网膜血管分割

该方法实现了端到端的像素分割与SegNet模型如图所示4。SegNet由Badrinarayanan et al。29日)是一种用于图像分割的架构。这是一个语义网络分割和场景理解应用程序而设计的需要在推理有效内存和计算时间。相对于其他竞争架构如FCN [30.]和DeconvNet [31日),它小得多的可训练的参数和推理时间和memory-wise发挥更好的性能和竞争力。

在该方法中,SegNet架构层包括编码器,译码器层,softmax层。在编码器层,有四个隆起和汇聚层。每一个卷积用于提取特性是紧随其后的是一批标准化加快学习速度,解决线性单元(ReLU), 最大池操作(将采样步长为2)。在每一个将采样,特色频道的数量翻了一番。在译码器层,有四个upsampling层和四个旋转。每个upsampling卷积后,每个卷积是一批标准化和ReLU紧随其后。最后一层架构是softmax层每个像素分类使用 卷积。

SegNet训练时,使用10倍交叉验证来获得最优模型。样品是随机分为十个大小相同的子集,然后设置训练和验证数据集的比例与9:1。SegNet模型是由训练数据集和调整参数的验证数据集。视网膜血管分割和最优模型被选中时,验证数据集上的最高精度。

为了提高船舶像素之间的不平衡和nonvessel像素,class-balanced叉损失函数采用,见下面的方程。 在哪里像素的总数在验证数据集,的分类标签吗th像素在地面实况图像 ,0是背景像素和1像素。的预测价值吗像素,下面的方程所示。

为了优化叉损失函数和减少的负担调试参数,自适应估计时刻(亚当)方法(14采用。培训的参数设置如下:学习速度0.001最初设置,设置为0.96每5次迭代的初始值;迭代周期是10。

3所示。评价指标

评价该方法的性能,评价指标的准确性、特异性、敏感性,评分( ),接受者操作特征(ROC)曲线下面积(AUC)和马修斯相关系数(MCC)。准确性是像素的比例分割正确眼底图像的像素总数;特异性的比率是nonvessel nonvessel像素的像素分割正确总;灵敏度是船像素的比例分割正确的总船像素。他们计算方程(10)- (13)。计算与方程(14),综合考虑模型的精度和召回;ROC曲线是一条曲线反映了敏感性和特异性之间的关系。曲线越接近左上角(小和更大的 );也就是说,较大的曲线下面的面积和AUC值越高,分割精度越高。世纪挑战集团与方程计算(15),该措施不平衡数据集的性能很好。值为- 1指示完美的分割测试眼底图像,而1意味着价值的细分与地面完全不一致的事实。 其中TP表示船舶像素分类为船像素,FN代表船像素分类为nonvessel像素,TN代表nonvessel像素分类为nonvessel像素,和FP代表nonvessel像素分类为船像素。

4所示。实验结果

该方法测试和评估的三个数据集:开车,凝视,HRF。三个数据集的训练和测试图像解释部分2.1。说明了培训和验证过程,该方法训练的损失曲线所示的三个数据集的数据5- - - - - -7,分别。图表的横坐标是迭代周期”时代”,纵坐标是损失价值”的损失。“传奇”列车”代表培训,传说“val”表示验证。从数据5- - - - - -7,这表明培训损失值的驱动,凝视,HRF都小于2后的一个时代。这意味着损失的培训和验证两个收敛快,当该方法训练的三个数据集。

评价指标的结果驱动(20个测试图像),凝视(10测试图像),HRF(9测试图像)如表所示1、表2和表3,分别。统计分数表明,该方法执行所有的三个数据集。视网膜血管分割AUC,驱动数据集的最小值是0.9665,最大值为0.9837,而盯着数据集的最小和最大HRF数据集的0.9675和0.9946,0.9651和0.9804。而言,分数,最大的驱动是0.8452,而盯着0.8851和HRF是0.8508;特异性,开车的最低是0.9865,凝视的最小值是0.9951和HRF是0.9954。所有,该方法可以从眼底视网膜血管图像。是健壮的细分驱动器的低分辨率图像,数据和HRF数据集的高分辨率图像。

与此同时,ROC曲线的三个数据集测试方法如图8。可以看出,模型的ROC曲线测试盯着数据集是最接近左上角,和模型的曲线测试HRF是最低的。不同的数据集产生轻微的影响模型,但总的来说,该模型可以得到良好的分割性能。

5。讨论

定性结果,该方法与其他方法相比,数字所示9- - - - - -11。图9显示驱动数据集上的测试方法。可以看出,与其他两个模型相比,这表明该方法的分割性能优于其他方法,尤其是薄的血管和血管在视神经盘地区。细血管的眼底图像test15,提出的方法有oversegmentation押沙龙等。33郭],提出的方法和彭17也有这个问题。此外,视神经盘有很大影响视网膜血管分割的,和这个地区的nonvessel像素通常船像素标签有误,如郭的眼底图像test19分段和彭17]。它可以看到从图10该方法具有更好的性能比押沙龙等提出的三种方法。33),胡锦涛等。32,郭和彭17),特别是在薄的血管。细血管的眼底图像test02,相比之下,其地面实况,提出的方法有oversegmentation胡锦涛et al。(32]。和他们不分段的方法提出的郭和彭17]。而郭和彭提出的方法17),测试HRF数据集如图11,它可以发现薄的血管分割得不是很好,太。简而言之,该方法不仅可以减少oversegmentation薄的血管也段薄船舶、船舶在视神经盘。

与驱动上的其他方法相比,凝视,HRF数据集,量化结果列在表中4、表5和表6,分别。这些结果表明,该方法优于其他方法的三个数据集。驱动器上的数据集,该方法AUC的0.9750,0.9518的准确性,敏感性为0.7580,特异性为0.9804,得分为0.7992分,MCC为0.7749。有16个方法相比,该方法。该方法的AUC是最高除了周et al。(18)0.0004和吴et al。(19这是0.008比方法。盯着数据集,该方法AUC是0.9893,0.9683的准确性,敏感性为0.7747,特异性为0.9910,得分为0.8369分,MCC为0.8227。与15方法相比在表5。该方法的准确性最高,除了太阳et al。35]0.0031和汗等。260.0277高于该方法)。该方法获得的最高分数,MCC, AUC的方法见表5。HRF数据集,该方法AUC的0.9740,0.9653,精度的敏感性为0.7070,特异性为0.9885,得分为0.7918分,MCC为0.7643。从表可以看出6该方法获得最高的特异性,分数,MCC,准确性,AUC。它证明了该方法的优越性。

很难部分视网膜血管准确由于不均匀的照明,低对比度和视网膜病变。从实验结果,在视网膜血管分割方法的性能改善,特别是对薄的血管和视神经盘周围的血管病变区域,几乎没有oversegmentation。与其他方法相比,它具有较高的MCC, AUC,准确性和特异性。然而,该方法有一定的局限性。它可以看到从定量数据表4- - - - - -6该方法的灵敏度比一些方法低。从可视化结果,低敏感性可能是由于视网膜血管的分割不连续。因此,在接下来的研究中,它将设计一些适当的后处理方法改善视网膜血管的连续性,可以提高算法的灵敏度。此外,在开车,凝视,HRF数据集,目前的视网膜血管分割方法的敏感性普遍低。从表4- - - - - -6的最大值,三个数据集是0.8011,0.8344,和0.7915,分别。因此,它是一个伟大的挑战,设计一个更理想的分割算法来改善视网膜血管分割灵敏度的同时保持分割精度高。

6。结论和未来的工作

重要的是准确提取视网膜血管检测和分析许多眼部疾病的进展。目前,各种分割方法被提出,但其中大部分是低精度的薄的血管和损伤区。提高准确性,与构造SegNet视网膜血管分割模型。实验结果表明,该方法比其他方法具有更高的分类精度,凝视,HRF数据集。该方法的准确性测试驱动,凝视,HRF数据集是0.9518,0.9683,和0.9653,分别。它能够很好地视网膜血管分割而不是与低对比度和薄的血管病变区域。此外,该方法可以提供一种新的方法中提取视网膜血管的想法准确、自动从眼底图像,它可以促进视网膜血管自动分割模型的研究更好地服务于临床实践。在未来的工作中,船的位置,曲折,和直径的眼底提取结构特征来预测一些眼底疾病如青光眼、糖尿病,这可以提高临床诊断和治疗的效率。

数据可用性

所需的原始/处理数据复制这些发现也不能在这个时候作为数据共享一个正在进行的研究的一部分。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作资助部分由中国国家自然科学基金(批准号62072413),同时支持国内访问学者项目(批准号FX2020019和批准号FX2020020)。