在眼科领域,糖尿病性视网膜病变(DR)是一个失明的主要原因。博士是基于视网膜病变包括渗出物。析出物被发现是一个博士和严重异常迹象,所以这些病变的正确检测和治疗应立即完成,防止视力丧失。摘要pretrained卷积神经网络(CNN)的基础框架提出了渗出物的检测。最近,cnn是单独应用于解决具体问题。但是,pretrained CNN模型转移学习可以利用前面的知识解决相关问题。最初建议的方法中,数据预处理执行标准化的渗出物补丁。此外,感兴趣的区域(ROI)定位用于本地化渗出液的特点,然后将学习使用pretrained CNN模型进行特征提取(Inception-v3、残余Network-50和视觉几何组Network-19)。此外,完全连接的熔融特性(FC)层被送入将softmax渗出物分类的分类器。提出了框架的性能分析了使用两个著名的如e-Ophtha和DIARETDB1公开可用的数据库。 The experimental results demonstrate that the proposed pretrained CNN-based framework outperforms the existing techniques for the detection of exudates.
在眼科领域,深度学习是执行一个重要的角色来诊断严重的疾病,包括糖尿病性视网膜病变(DR)。是一种严重的博士和世界各地的常见疾病。糖尿病性视网膜病变是一种普遍的疾病诊断的糖尿病患者。世界卫生组织(世卫组织)已宣布,在2030年,糖尿病将最严重和7日世界上最高的death-causing疾病(
正常视网膜(a)和(b)糖尿病性视网膜病变
糖尿病性视网膜病变的诊断、图像处理技术,包括视盘定位、自适应阈值,图像边界跟踪,和形态学预处理,广泛用于使用视网膜眼底图像特征提取。根据(
深卷积神经网络也进行分割和检测的一个重要的角色渗出液使用数字眼底图像。谭et al。
分割和检测的渗出液,有必要定位指定的特性。渗出物的位置分割方法分割使用数字眼底图像被报道(
此外,巨大的工作已经完成,并自动识别渗出液的基础上,其功能包括纹理、形状和大小。著名的分泌物检测技术可以分为四个基本类型:(1)基于机器学习技术;(2)基于阈值的方法;(3)数学形态学技术;(4)区域增长的方法。
基于机器学习的算法包含监督和非监督学习方法。a . r . Chowdhury et al。
阈值技术利用颜色强度的变化在不同的图像区域。在这种情况下,迭代阈值法的基础上提出了粒子和萤火虫群优化诊断渗出和出血
大量的贡献已检测异常在眼底图像用数学形态学的方法。形态学技术利用几个数学运营商有不同的结构元素。Jaafar et al。
区域增长方法观察社区的开始位置和决定他们是否可以一个特定区域的一员。Lim et al。
在本研究工作中,该技术的目的是检测糖尿病性视网膜病变的渗出液使用转移学习。该工作的主要贡献是应用转移学习概念特征提取使用知名pretrained深卷积神经网络包括Inception-v3, ResNet-50, VGG-19。另外,融合进行提取特征和进一步分类softmax最终决定。
本文的其余部分组织如下:该方法在部分说明
在这部分中,提出了框架基于pretrained卷积神经网络体系结构描述眼底视网膜渗出物检测和分类的图像。在拟议的框架中,三个获得好评的pretrained融合网络架构组合在一起执行特性,不同的体系结构可以捕获不同的特性;如果只有单一的体系结构采用组合多个架构,那么概率是高小姐一些有用的特性,最终,它可能影响了该框架的性能。
最初,在两个数据集上执行数据预处理规范渗出物补丁然后高斯混合技术是应用于本地化特征提取之前候选人渗出物。小说框架变得有利于低层特征提取单独3认为pretrained卷积神经网络架构包括Inception-v3 VGG-19, ResNet-50。此外,集体功能被当作输入完全连接(FC)层为进一步的行动,包括分类、由softmax分类视网膜渗出物和nonexudate补丁,如图
拟议中的pretrained CNN-based框架。
数据采集是一个重要的组成部分,提出的实验分析技术。在此建议的方法,两个视网膜公开数据集用于实验:(i) e-Ophtha和(2)DIARETDB1。E-Ophtha数据集包含47视网膜眼底图像检查四个眼科医生专家人工注释的渗出液(
视网膜图像样本e-Ophtha ((a)和(b)健康影响)和DIARETDB1 ((c)和(d)健康影响)数据库。在(a)和(c),渗出液包围。
在这个阶段,输入数据标准化的准备,因为视网膜渗出液的大小的变化。图
样本的类分泌物补丁。
在提出的模型中,25×25块大小的彩色补丁图像使用两种类型的团体包括nonexudate和渗出物。执行手动渗出物块提取,并获得36500年和75600年从e-Ophtha渗出液,DIARETDB1数据集,分别。同样,为平衡数据集,35000年和60000年被提取nonexudate e-Ophtha补丁和获得的地区和DIARETDB1数据库。视网膜nonexudate片组,有各种视网膜疾病包括视神经头,背景组织、视网膜血管。在拟议的技术,所有的补丁都获得并提取没有任何重叠,可以视为nonexudate和渗出物补丁类人物
(一)Nonexudate补丁;(b)渗出物补丁。
渗出液可以被描述为明亮的病变,突出的补丁和斑点在糖尿病视网膜病变与充满对比的黄色平面彩色眼底图像。渗出物分割特征提取的应用使用前应用感兴趣的区域(ROI)本地化。在这一步中,渗出物分割进行ROI检测到视网膜眼底图像。在这种情况下,许多方法已经使用包括神经网络、模糊模型,edge-based分割,ROI-based分割。在拟议的技术中,高斯混合方法用于渗出物本地化。Grimson Stauffer和(
感兴趣的区域与蓝线包围。
下列方程计算出感兴趣的区域(ROI)通过高斯混合模型:
在一开始,个人深卷积神经网络模型应用于提取特征,后来,采用模型进一步结合FC层眼底图像的分类。在这种情况下的特征组合,可能有多种类型的特性包括密实度,圆度,循环提取单一形状描述符。在拟议的技术中,三个最新的和最新的深卷积神经网络架构,包括Inception-v3 [
Inception-v3架构是基于卷积的卷积网络层包括池层,解决线性操作层次,充分连接层。Inception-v3架构是设计用于图像识别和分类。该模型也是基于Inception-v3架构,各种大小的池几个卷积过滤器对创新型单一过滤器。此外,创新的滤波器不仅降低了计算复杂度,也消退的数量参数。Inception-v3也达到更好的准确性与heterogeneous-sized过滤器和低维嵌入的结合。的基本架构Inception-v3图所示
基本Inception-v3架构(
残留Network-50是深卷积神经网络实现显著结果ImageNet数据库的分类(
基本的残余Network-50架构(
视觉几何组网络模型是基于多层操作称为深层神经网络模型。这是类似与AlexNet模型除了额外的回旋的层。的扩张VGGNet架构基于kernel-sized过滤器的更换与窗口大小3×3过滤器和2×2池连续层。一般VGG-19架构包含3×3层的卷积,批准层,池层和三层完全连接4096个神经元(
基本VGGNet-19架构(
在机器学习领域,转移学习被认为是一个最有用的方法,学习相关知识用于解决一个问题和应用新的相关问题。为主,转移网络学习方法是训练有素的特定工作相关的数据集,在那之后,转移到由客观目标的工作是训练数据集(
转移上优于技术实现与pretrained Inception-v3, ResNet-50,从ImageNet VGGNet-19架构。将学习设置跟踪处理持续的神经网络模块的固定特征提取器不同的数据集。一般来说,转移学习持有主pretrained典型的权重和提取图像特征通过总结网络层。大多数情况下,大量的数据是强制性的火车从刮然而有时卷积神经网络;很难组织大量的数据库相关的问题。相反的极限情况下,对于大多数实际的应用程序中,这是一个困难的工作,也很少发生在实现类似的培训和测试数据。在这个场景中,将学习方法了,也被证明是卓有成效的技术。有两种转移学习方法的主要步骤:首先,pretrained架构的选择;其次,问题相似,它的大小。在选择阶段,pretrained架构的选择是基于相关的问题与目标相关的问题。 In the case of similarity and size of the dataset, if the amount of the target database is lesser (for example, smaller than one thousand images) and also relevant to the source database (for example, vehicles dataset, hand-written character dataset, and medical datasets), then there will be more chances of data over fitting. In another case, if the amount of the target database is sufficient and relevant to the source training database, then there will be a little chance of over fitting and it just needs fine tuning of the pretrained architecture. The deep convolutional neural network (DCNN) models including Inception-v3, ResNet-50, and VGG-19 are applied in the proposed framework to utilize their features on fine-tuning and transfer learning. In the beginning, the training of the selective convolutional neural network models is performed using sample images taken by the standard publicly available “ImageNet” database; moreover, the idea of transfer learning for fused feature extraction has been implemented. In this case, the proposed technique assists the architecture to learn the common features from the new dataset without any requirement of other training. The independently extracted features of all the selective convolutional neural network models are joined into the FC layer for further action including the classification of nonexudate and exudate patch classes performed by softmax.
这些实验是进行“Google Colab”使用图形处理单元(gpu)。绩效评估,选择两个公开的标准数据集进行实验。训练阶段分为2会话,每个会话完成实验任务花了6个小时。拟议的技术训练的设计框架3类型的卷积神经网络架构包括Inception-v3 ResNet-50, VGG-19分别,在那之后,学习执行转移到转移的知识提取的数据融合功能。从个人卷积神经网络获得实验结果比较和分析的熔融特性集伴随着各种现有方法。10倍交叉验证方法是申请绩效评估。交叉验证是一个重采样过程用来评估机器学习模型在有限的数据样本。这个过程只有一个参数
比较分类精度模型的结果与个别CNN模型使用e-Ophtha分泌物检测数据集。
| CNN模型 | 数据分割 | |||||
|---|---|---|---|---|---|---|
| 培训(%) | 测试(%) | F1的分数 | 回忆 | 精度 | 分类精度(%) | |
| Inception-v3 | 70年 | 30. | 0.95 | 0.98 | 0.92 | 92.50% |
| 80年 | 20. | 0.93 | 0.94 | 0.92 | 92.90% | |
| 90年 | 10 | 0.94 | 0.92 | 0.96 |
|
|
|
|
||||||
| ResNet-50 | 70年 | 30. | 0.94 | 0.98 | 0.91 | 90.67% |
| 80年 | 20. | 0.94 | 0.98 | 0.90 | 95.70% | |
| 90年 | 10 | 0.98 | 0.97 | 0.99 |
|
|
|
|
||||||
| VGG-19 | 70年 | 30. | 0.94 | 0.99 | 0.90 | 92.33% |
| 80年 | 20. | 0.94 | 0.93 | 0.95 |
|
|
| 90年 | 10 | 0.94 | 0.90 | 0.89 | 93.50% | |
|
|
||||||
| 提出的模型 | 70年 | 30. | 0.96 | 0.96 | 0.97 | 97.98% |
| 80年 | 20. | 0.96 | 0.97 | 0.95 |
|
|
| 90年 | 10 | 0.95 | 0.96 | 0.95 | 97.90% | |
同样的,表
比较分类精度模型的结果与个别CNN模型使用DIARETDB1分泌物检测数据集。
| CNN模型 | 数据分割 | |||||
|---|---|---|---|---|---|---|
| 培训(%) | 测试(%) | F1的分数 | 回忆 | 精度 | 分类精度(%) | |
| Inception-v3 | 70年 | 30. | 0.95 | 0.98 | 0.93 | 93.10 |
| 80年 | 20. | 0.93 | 0.94 | 0.92 | 93.30 | |
| 90年 | 10 | 0.95 | 0.94 | 0.97 |
|
|
|
|
||||||
| ResNet-50 | 70年 | 30. | 0.95 | 0.99 | 0.92 | 90.57 |
| 80年 | 20. | 0.94 | 0.98 | 0.90 | 96.10 | |
| 90年 | 10 | 0.98 | 0.98 | 0.98 |
|
|
|
|
||||||
| VGG-19 | 70年 | 30. | 0.94 | 0.98 | 0.90 | 93.12 |
| 80年 | 20. | 0.93 | 0.92 | 0.95 |
|
|
| 90年 | 10 | 0.91 | 0.93 | 0.90 | 93.76 | |
|
|
||||||
| 提出的模型 | 70年 | 30. | 0.96 | 0.97 | 0.96 | 98.72 |
| 80年 | 20. | 0.95 | 0.96 | 0.95 |
|
|
| 90年 | 10 | 0.96 | 0.96 | 0.96 | 97.92 | |
分类性能的上下文中,一个真正的正面是一个正确的模型预测结果的积极类。同样,真正的负面结果的模型是否正确预测负类。然而,假阴性(FN)和假阳性(FP)代表样本,更进一步的模型。下面的方程可以应用的性能评估。
准确性:这是一个测量用来评估模型的有效性识别正确的类标签,可以由以下公式计算:
F-measure:平均分类器的精度和召回范围在0和1之间。最好和最差分数是由“0”和“1”,分别计算如下:
表
为了更好地理解分类精度的结果,图
比较使用e-Ophtha数据集分类精度的结果。
比较使用DIARETDB1数据集分类精度的结果。
此外,表
比较分类精度的方法和现有的方法。
| 一年 | 方法 | 数据库 | 精度(%) |
|---|---|---|---|
| 2017年 | Fraz et al。 |
DIARETDB1 | 87.00 |
| 2018年 | 莫等。 |
e-Ophtha | 92.00 |
| 2019年 | Khojasteh et al。 |
e-Ophtha | 97.60 |
| DIARETDB1 | 98.20 | ||
| 提出了框架 | e-Ophtha |
|
|
| DIARETDB1 |
|
拟议的框架比较分类性能对(
在这篇文章中,一个pretrained卷积神经网络(CNN)——基础框架提出了检测视网膜渗出液在眼底图像使用转移学习。在拟议的框架中,pretrained模型,即Inception-v3,剩余Network-50 (ResNet-50)和视觉几何组Network-19 (VGG-19),用于从眼底图像中提取特征,基于转移学习分类精度的提高。最后,该模型的分类精度与各种DCNN模型分别相比,以及与现有的技术相比。提出传输上优于框架已被评估和杰出的结果的准确性得到,而不是从头开始训练。因此,建议的方法的准确性优于其他现有技术的检测视网膜渗出液。在未来的工作中,该框架可以修改歧视软硬渗出液。此外,该框架还可以扩展为糖尿病性视网膜病变诊断出血和微动脉瘤。
在实验中,数据用于支持拟议的框架的结果是可用的
作者宣称没有利益冲突。
作者感谢博士神经元体细胞的萨那(黑带),提供关于糖尿病性视网膜病变的知识。这项工作是支持中国国家重点研发项目的一部分在2018 yff0214700格兰特。