文摘

客观的。作为一个扩展的光学相干断层扫描(OCT),光学相干层析血管造影术(八面体)提供信息在微程序级血流状态和眼底血管的变化很敏感。然而,由于不同的八面体成像机制,现有的模型,主要用于分析眼底图像,上不适合八面体图像。有效地提取和分析八面体图像中的信息仍然是具有挑战性的。为此,一个深度学习框架,融合在八面体图像提出了多级信息研究。提出的模型的有效性在糖尿病性视网膜病变(DR)分类的任务。方法。首先,U-Net-based细分模式提出了标签的边界大视网膜血管和视网膜中央凹无血管的区域(的报道)在八面体图像。然后,我们设计了一个孤立的连接块(ICB)从原来的八面体结构提取和融合信息在不同的融合图像和分割结果的水平。结果。301八面体的实验图像。这些图像,244被眼科医生标记为正常的图像,图像博士和57贴上。精度为93.1%,是一个十字路口在联盟(mIOU)的77.1%是通过使用提出了大型船舶和《法兰克福汇报》细分模式。翻消融实验验证,提出了深度学习框架,结合提出的孤立和博士级联卷积过程显著提高诊断准确性。此外,输入合并后的图像原始八面体的图像和分割结果进一步改进模型的性能。最后,诊断准确率为88.1%(博士 )和曲线下面积(AUC) 0.92是通过使用我们建议的分类模型,大大优于最先进的分类模型。作为对比,精度83.7 ( )并使用EfficientNet AUC 0.76了。意义。可视化结果表明,接近《法兰克福汇报》的报道和血管区域为模型提供更多的信息比周围地区。此外,这项研究表明临床复杂的设计深度学习模型不仅能够有效地协助诊断,而且还有助于定位某些疾病的新指标。

1。介绍

糖尿病性视网膜病变(DR)是糖尿病引起的眼底微血管损伤,是盲症和视力损害的主要原因之一(1]。有各种博士和复杂的发病机制仍不清楚。对博士的诊断,最常见的方法是荧光眼底血管造影(FFA)和吲哚菁绿血管造影(ICGA) [2]。然而,这两种方法是侵入性医疗成像考试。此外,对比媒体和视网膜出血的泄漏可能扰乱媒体透明度,模糊图像的视网膜血管。因此,损伤区域很难准确识别和评估。

光学相干断层扫描(OCT)是一种新的非侵入性成像技术,可以用来有效地观察表面的细微变化和人类视网膜毛细血管丛深处微脉管系统,近年来已成为受欢迎3]。10月的延伸,光学相干层析血管造影术(八面体)是用来捕获和分析血细胞的运动的视野不断捕捉图像相同的视网膜位置获取图像的毛细管网4]。研究表明,一些眼底疾病,如年龄相关性黄斑变性(AMD) [5],脉络膜新生血管(CNV) [6,7,视网膜动脉经(RAM) (8),可以使用八面体检测图像。八面体敏感的恶化血管网络,因此提供了一个新颖的监测和评价方式的发展[博士9,10]。刘等人相比歧视博士几个机器学习模型 毫米的八面体扫描不同的细分层次,包括浅血管丛(高级)、深血管丛(DVP)和视网膜血管网络(RVN)。最好的诊断性能,博士0.82和0.83的AUC的整体精度,通过逻辑回归正规化的弹性网点球(LR-EN) [11]。Abdelsalam和Zahran利用支持向量机(SVM) nonproliferative早期诊断糖尿病性视网膜病变(NPDR)基于多重分形几何和取得可喜的成果12]。然而,由于特殊的八面体的成像机理,传统图像分析技术并不总是工作在八面体图像,提取和非常不同的特性。此外,八面体图像的图像质量在很大程度上是受到浑浊的屈光介质等因素的影响,图像噪声和工件的血管投影。因此,迫切需要研究在八面体图像的特征提取和分析技术。

与传统的机器学习算法相比,深度学习显示更高的性能在医学图像分析13- - - - - -15]。深卷积神经网络(CNN)是最常见的一种方法用于实现图像分割和分类由于其强大的特征提取和函数拟合能力(16- - - - - -20.]。马等人发表了一份专门的视网膜八面体分割(玫瑰)数据集,提出了船舶细分分裂粗分割模块(21]。cnn也被认为是为分类博士共同使用裸体机密10月和八面体22]。目前,八面体数据样本的数量和高质量的标签比这小得多的眼底图像;因此,更好的利用多级信息和领域知识的结合的关键是提高深上优于八面体分析技术。

在本文中,我们提出了一个深度学习框架,提取并分析了多级信息八面体图像和诊断博士展示了其优势。我们提出了一个基于U-Net分割模型段血管的边界和视网膜中央凹无血管的区域(的报道)在八面体图像。然后,提出了一种新的深度学习框架来预测的类八面体图像基于最初的八面体融合图像和分割结果。可视化方法用来表示感兴趣的区域(roi) CNN模型定位病变的关键领域所关注的预测模型为研究人员提供指导博士的关键特性诊断。

2。材料和方法

2.1。数据集

八面体- 500李等人编制的数据集。23)是在这项研究中使用的数据集。提供了三种不同的八面体数据预测在这个数据集。在这项研究中,我们使用的最大投影在ILM和OPL (B5),所产生的最大投影内视网膜,可以清楚地显示视网膜内的血管形态学和报道的形状。因此,它是最常用的八面体投影地图视网膜血管和《法兰克福汇报》细分23]。

不同领域的数据集包含两个子集视图(fov)。如图1(一),图像中白色的部分船只,而黑区中心,周围是船只的报道,这是一个凹区在视网膜后,直径约2毫米,不包含任何船只。有一个数据子集 视场,而另一个子集 视场。57博士244年样本和正常样本标记的数据集。眼科医生提供的诊断是博士。此外,血管和《法兰克福汇报》提供的屏蔽标签。图1 (b)显示了一个面具的图片:白色的部分表示船只,灰色部分《法兰克福汇报》表示,黑色的部分是背景。

2.2。分割的船只和报道

获得标签图像表明血管和《法兰克福汇报》,我们提出了一个基于U-Net分割方法(24)体系结构,如图2。八面体的形象和其相应的掩码图像作为输入和地面实况,分别。网络体系结构可分为收缩和膨胀的路径。更具体地说,合同路径由一系列卷积层,减少特征图的大小。广阔的路径由upsampling操作和回旋的层。upsampling操作特性图的规模扩张,和卷积层减少渠道的数量特征。同样大小的特征图谱的收缩和扩张的路径被跳过连接连接。最终,最后的分割结果是由将softmax和ArgMax操作。

损失函数设计如下: 在哪里表示输入图像的高度,表示宽度,表示真正的标签样本,表示细分模式的输出。

2.3。图像通道连接

标签图像表明血管和《法兰克福汇报》(即可以作为专家意见。,domain knowledge), which provide more effective information to the deep learning model. Therefore, the labeled images are input with the OCTA images as additional domain knowledge. These two types of images are single-channel images. Therefore, they can be concatenated by the channel dimension to obtain double-channel images. In other words, the labeled image and OCTA image are two independent channels of the merged image. The concatenation process is shown in Figure3。

2.4。基于多级信息融合的深度学习框架

拟议的深度学习框架诊断博士在本研究的目的是基于ResNet50 [25)体系结构,其结构如图4(一)。充分从合并后的图像中提取信息,我们设计了一个深度学习框架和一个孤立的连接块基于ResNet50 (ICB)体系结构。更具体地说,在孤立的卷积过程中,输入是一个双通道图像由原来的八面体图像和标记图像。它们分别由卷积处理层提取的主要特性。这两个特征图连接形成一个复合功能映射。新功能输入映射到一个卷积层和池层减少信息集成和参数。级联卷积过程中,输入双通道图像直接与汇聚层由一层卷积处理,调整功能映射,使其符合孤立的输出卷积过程。最终的输出特征图谱孤立和级联卷积过程是连接。

然后,特征图谱处理由以下卷积过程。更具体地说,卷积过程由四级残余根据ResNet50卷积模块。这些块由一个回旋的块和几个身份残块。这些块类型如图4 (b)和4 (c)。最终,分类结果由一个完整的连接层softmax操作紧随其后。

损失函数设计如下: 在哪里表示当前类,表示整个数据集的所有类,表示真正的标签样本,表示分类模型的输出。

2.5。模型可视化

在这项研究中,我们使用gradient-weighted类激活映射(Grad-CAM) [26直观地分析我们的模型。研究表明,卷积层可以保留空间信息(27,28),而深层含有更多的高级功能信息(29日,30.]。因此,我们专注于最后卷积层,这表明该地区的位置来确定分类是很重要的。

类激活地图计算了以下算法: 在哪里表示th通道的输出特性图,表示的输出乙状结肠当前类的函数,表示特征点的数量特征映射,表示激活功能,纠正线性单元(ReLU)是用于这项研究。

3所示。结果与讨论

总共有301张图片用于培训和交叉验证测试过程。在这些图片中,眼科医生标记57图像正常博士和244(地面真理)。

精度为93.1%,是一个十字路口在联盟(mIOU)的77.1%是通过使用我们的分割模型。这些值被计算成三个类的平均值。如表所示1分割的任务包括三个类,即背景,血管,和《法兰克福汇报》类。背景的分类精度为93.2%,93.8%,血管,和92.3%的报道。几种典型分割结果如表所示2。

一个烧蚀实验进行验证该分类模型的性能。三个模型在烧蚀测试相比,即一个卷积模型只有一个孤立的过程,只有一个级联卷积过程,和孤立和级联卷积过程。显然,该模型只使用级联卷积过程相当于ResNet50,和模型使用孤立和级联卷积过程提出的模型。此外,只有图像分割结果,只有八面体图像,合并后的图像作为输入上面的三种分类模型。如表所示3,最好的88.1%的准确性 通过使用模型使用孤立和级联卷积过程合并图像作为输入。我们还发现,给定相同的输入,该模型使用孤立和级联卷积过程达到最佳性能。虽然使用相同的模型,每个模型的精度最高获得使用合并后的图像。6倍交叉验证上述分析应用。

我们将我们的模型与其他现有的模型分类博士与倍交叉验证任务相同的数据集。在这个比较中,每个模型合并的输入图像。如表所示4,88.1%的最高精度 通过使用我们的分类模型。我们建议的模型的敏感性(51.8%)也明显大于其他方法,与类似的特异性。由于不平衡的积极和消极的训练样本的数量,该模型倾向于低估阳性样本的数量,这些都限制了其灵敏度。然而,这种效应可以很容易地缓解通过设置另一个判断阈值以满足临床诊断的需要高灵敏度的要求。

接受者操作特征(ROC)曲线,它更全面代表分类模型的性能,上述模型如图5。最大的曲线下面积(AUC) 0.92获得使用我们的模型。

最后功能的类激活地图地图被Grad-CAM生成。重量的热图被添加到合并图像显示分类的roi模型,如图6。特征的区域更高的热图(红色)产生较大影响的分类判断。它可以观察到,大多数红色区域是接近图像的中心部分,这表明《法兰克福汇报》和血管周围地区最重要的地区被认为是博士的模型分类。换句话说,我们发现病变可能出现博士在《法兰克福汇报》地区基于可视化的结果。此外,窄视场图像相比,红色的激活地图较小比例的整个图像的宽视场图像。我们将探讨更具体的病理变化通过更多的实验和咨询医学专家在我们未来的工作。

在另一个八面体数据集,我们进行了一个实验,结果如表所示5。发现最高的精度也通过使用我们的模型。

4所示。结论

深度学习可以用来分析八面体图像结合多级信息和领域知识。本研究的关键发现可以概括如下:(我)提出了深度学习框架与孤立和级联卷积过程显著提高博士分类的准确性(2)融合的信息从原来的八面体图像和标记图像表明《法兰克福汇报》和船舶的部分,作为领域知识,提供了更多的功能和帮助减轻博士分类错误(3)可视化分析证实,《法兰克福汇报》和它周围的血管区域含有更多的有用的信息,如《法兰克福汇报》的形状和周围血管的密度,比周边地区区分博士样本和正常样本

提出分析不仅展示了深入学习算法的有效性和多级信息融合诊断博士博士还强调潜在的指标在八面体图像。因此,发现图像与一个更大的《法兰克福汇报》区域或一个较小的血管密度在《法兰克福汇报》可能是高度相关的博士在眼底筛查的风险。在未来,将在大型多中心数据集进行的一项研究中,提出了深度学习框架的和潜在的其他相关生物医学图像分析应用程序也将探索。

数据可用性

八面体- 500数据集是公开的http://ieee - dataport.org/open access/octa - 500。U-Net框架可以通过访问https://github.com/bubbliiiing/Semantic-Segmentation/tree/master/Unet_Mobile。该方法的完整代码可用https://github.com/liyuatbjut/OCTA-Analysis。

的利益冲突

作者宣称没有利益冲突有关的出版。

作者的贡献

Qiaoyu李和朱Xiao-rong同样起到了推波助澜的作用。

确认

这项工作是支持由中国国家重点研发项目(2017 yfc0909600),中国国家自然科学基金(8151101058,8151101058),和中国科学院的战略重点研究项目(XDB41020104)。