文摘

在这篇文章中,我们已经仔细研究了Johanson-Blizzard综合症患者的临床表型和基因型(JBS)与糖尿病为主要表现。视网膜血管分割是一个重要的工具,许多眼部疾病的检测和扮演着一个重要的角色在视网膜疾病的自动检测系统。分割算法的基础上提出了一种多尺度注意力解决方案网络地址不足的问题分割的小血管和病理missegmentation在现有方法。网络是基于encoder-decoder架构,注重介绍了剩余块子模块增强特性传播能力和减少不均匀照明和低对比度的影响模型。跳连接编码器和解码器之间的添加,删除和传统池层保留足够的血管细节信息。两个多尺度特征融合方法,平行multibranch结构,空间金字塔池是用来实现特征提取在不同感官的领域。我们收集的临床资料、实验室检测和成像检查JBS患者中,提取有关家庭成员的基因组DNA,并验证whole-exome测序和Sanger测序。糖尿病病人为主要表现,眼间距扩大,低扁平鼻根,发育不全的鼻,和较低的发际线畸形。基因测试证实的c。4463 T > C (p.Ile1488Thr) pure missense mutation in the UBR1 gene, which was a novel mutation locus, and pathogenicity analysis indicated that the locus was pathogenic. This patient carries a new UBR1 gene c.4463 T > C pure mutation, which improves the clinical understanding of the clinical phenotypic spectrum of JBS and broadens the genetic spectrum of the UBR1 gene. The experimental results showed that the method achieved 83.26% and 82.56% F1 values on CHASEDB1 and STARE standard sets, respectively, and 83.51% and 81.20% sensitivity, respectively, and its performance was better than the current mainstream methods.

1。介绍

视网膜血管分割的彩色眼底图像已广泛用于定量分析的眼科疾病,如糖尿病视网膜病变、早产儿视网膜病变,高血压、青光眼(1]。因此,视网膜血管分割ocular-related疾病的诊断中起着重要的作用[2]。由于复杂的血管形态(如薄和弯曲的船只,尤其是毛细血管和其他精细结构),不均匀光照和噪声的存在可以手动分割,进一步复杂化和准确的视网膜血管分割由经验丰富的眼科医生仍然是具有挑战性的和高度主观的(1,3,4),使它无法执行大规模的眼底图像分析。因此,视网膜血管从彩色图像的自动分割是特别重要的。

在过去的几十年中,许多无监督和监督学习方法已经提出了视网膜血管的自动分割。无监督学习方法使用特性之间的内在联系来确定目标船只,他们是相对简单的执行而不需要训练分类器和调整参数。文献[5)使用小波transform-based前景和背景增强快速检测血管。(6)使用一个线性组合的规模不同的探测器,和基本路线探测器使用大约一组旋转直线检测血管在不同的角度。无监督学习方法简单编码血管特性和缺乏有效的监督信息。因此,船信息的提取是原油,损伤图像的分割是贫穷。

这些方法对血管功能的信息更敏感,更可靠,稳定,他们有很大的优势(非监督学习方法7]。传统的监督学习方法是基于手动提取视网膜血管和随后的多维特性选择合适的分类器进行分类。传统的监督学习方法提高了性能与无监督学习方法相比,然而,他们使用人为设计的特性来描述血管和背景之间的差异,这是非常主观的,不能适应血管多尺度的变化,中央反射和几何,他们仍然有问题的小血管的分割和病理missegmentation不足。近年来,基于深度学习的监督方法已经应用于眼底图像分割,表现出更好的性能,因为他们捕捉高级语义特征的能力,较强的数据处理能力和鲁棒性8- - - - - -12]。文献[13)提出了一个DEU-Net模型与空间路径保护的详细信息和上下文路径捕获更多的语义信息。(11]提出了剩余密度连接模块(RDB)与扩大船舶分段卷积(14)提高提取的血管。(10)使用残余变形卷积而不是正常的卷积。同一篇论文(11]介绍了卷积扩张而不是池层。

文献[13,15,16)提高了U-Net (17),一个code-and-decode结构,提高了血管边界的识别信息(18),然而,实际的感官领域网络远小于理论感官领域(19),导致细血管分割这个结构的不足。文献[10,11)使用扩张卷积来增加网络的感官领域不使用全球平均池在特征提取过程中。它限制了网络的能力来捕获全局上下文信息(19,20.),不宜对准确预测血管。它限制了网络的能力来捕获全局上下文信息(21,22),这是不利于准确的预测。

解决不足的问题分割的小血管和病理missegmentation在上面的文献中,我们提出一个视网膜血管分割模型的端到端训练,提高船舶识别边界信息基于encoding-decoding架构。文摘:在这篇文章中,我们已经仔细研究了Johanson-Blizzard综合症患者的临床表型和基因型(JBS)与糖尿病为主要表现。视网膜血管分割是一个重要的工具,许多眼部疾病的检测和扮演着一个重要的角色在视网膜疾病的自动检测系统。分割算法的基础上提出了一种多尺度注意力解决方案网络地址不足的问题分割的小血管和病理missegmentation现有方法。网络是基于encoder-decoder架构,注重介绍了剩余块子模块增强特性传播能力和减少不均匀照明和低对比度的影响模型。跳连接编码器和解码器之间的添加,删除和传统池层保留足够的血管细节信息。两种多尺度特征融合方法,平行multibranch结构和空间金字塔池是用来实现特征提取在不同感官的领域。我们收集的临床资料、实验室检测和成像检查JBS患者中,提取有关家庭成员的基因组DNA,并验证whole-exome测序和Sanger测序。

剩下的纸是组织如下:

在随后的部分中,详细描述网络结构和算法原理,特别强调网络的并行和multibranch结构。此外,空间金字塔池详细描述。节3详细描述,实验结果和观察以及详细讨论其有效性比现有的状态的艺术走近。最后,给出了结论。

2。网络结构和算法的原则

2.1。平行Multibranch结构

初始模型(21]提取特性使用不同大小的卷积核,它融合了不同尺度的特征提取多尺度血管功能的信息。初始模型有效地提高了网络感知领域使用大回旋的内核,然而,与此同时,它会增加大量的网络参数,降低了网络性能。

扩大卷积(14)可以有效地扩大接受域不增加参数。它的基本原理是插入一个像素的每个像素值0之间传统的卷积核。如图1,卷积内核输出的分辨率变化特征映射通过控制膨胀率R,扩张率r卷积的内核从左到右的顺序是1、2和4分别。输出扩张卷积的输入和过滤器如下: K代表内核大小。扩张后,卷积核的大小年代=K+ (k - 1) (r1)。

因此,本研究设计了一种并行multibranch结构(pmb)如图2。pmb,通过不同膨胀率的3×3卷积,用于提取血管功能,并通过功能特性融合完成后缝合。膨胀率是1、2、4和8位。由于初始模型的优点和扩张卷积,pmb可以学习多尺度不同接受下血管特征信息字段,有效提高网络接受字段,减少网络参数,提高网络性能。

2.2。关注残块

剩余网络(22)利用其独特的优势加强功能传播能力和有效地提取小血管信息。然而,缺乏语义信息在低级特征,不均匀的照明,和低对比度仍将干扰血管分割。因此,注意力机制介绍捕获全局语义信息,压缩的空间维度特征映射,并将每个通道的二维特性转化为实数,代表了全球分销渠道的响应特性。这样,关闭输入层还可以获得全球接受域和提高学习能力模型的血管功能,提高灵敏度和分割精度。

2.2.1。压缩操作

重量特性提取可以表示如下: (I, J)代表的像素位置,然后呢 代表一个压缩操作空间维度的特征映射。

功能图u全球平均池(GP)使用方程(1)来完成空间维度的特征压缩 。因此,C功能渠道成为一个实数序列1×1×C,即。,全球信息 。

2.2.2。动力操作

特征权值更新如下: 地点:δ,σRelu和乙状结肠分别激活函数; ;R尺度参数。

使用中收集到的信息压缩操作完全捕获通道的依赖,降低了模型的复杂性和辅助泛化程度,并使网络学习和更新频道本身重量。两个完整的连接层(FC)摘要介绍了。是一个FC操作,可以减少计算量。后δ,postoutput维度不变,和也是一个FC操作,可以转化成的尺寸吗Z。根据去年通过,年代是更新后的价值特性重量。

2.2.3。调整加权操作

权重映射到特征图

使用 ,一个特征图 ,与渠道可以获得关注。这个操作可以增加有效的血管功能通道重量,减少无效的背景噪音特性通道重量加强有效的血管功能。

当输入和输出尺寸相同,添加直接通过短连接,它是记录为arb1。当注意力的步长残块(ARB)是2,输出特性映射成为一半的输入特性地图,在这个时间,通过1×1卷积,完成功能维度匹配,最后,它完成功能融合通过“添加”操作,记录为arb2。

2.3。空间金字塔池

在参考文献[20.),获得多尺度信息,不同大小的卷积核是用于池,取得了优秀的成果的分类和分割任务。启发,进一步减少不同条件之间的上下文信息的损失,本文增加了空间金字塔池模块(SPPM)之间的编码器和译码器。SPPM可以捕获多尺度血管特性信息,将输入特征映射到各级不同亚区,每个区池,提取的特征不同的条件。因此,多级的核心池大小应保持一个合理的差距,如图3。

从图3金字塔,SPPM融合四种不同规模的特性和自适应平均输入池获得四个规模大小1×1、2×2,3×3,分别和6×6。最上面的一层是全球平均生成的输出一个塔层代表粗层,和其他层用于分区的输入特性映射到不同的条件和自适应平均池形成不同位置的一个表示。SPPM,不同层次的输出包含不同尺度的特性图,和一个1×1卷积内核使用金字塔后水平维持全球功能特性的权重映射。

2.4。加强培训策略

考虑到SPPM产生损失,如果只使用最终结果损失,梯度反向传播过程中会减少。与此同时,由于血管的复杂形态,全球最佳可能不是通过单独的主要损失。进一步提高分割精度和增加血管之间的功能差异和渗出液,辅助训练策略提出了这项研究。这种策略的基本原理是添加一个助推器SPPM后,生成一个辅助损失减少的负面影响和优化参数在网络的主要损失。这种策略可以增强血管功能表现在训练阶段和丢弃它在测试阶段,从而增加了计算复杂度小的测试阶段。

图4说明了分割头的细节。1×1卷积层可以用来缩减规模的渠道数量特征映射,并使用双线性插值后卷积层恢复该决议。

2.5。网络结构

multiattentive权力分析网络(MAPNet),如图5,由四个部分组成:编码器、译码器、助推器,SPPM。考虑到输入图像的大小的小块,网络结构不应太深,以避免过度拟合。为了确保算法的自适应能力,端到端训练是进行基于U-Net encoding-decoding的想法。为了避免梯度消失或梯度爆炸随着网络的深化和减少不均匀照明和低对比度的影响模型,ARB1是用来代替正常的卷积。考虑到池U-Net层导致的损失空间敏锐度,ARB2代替池层避免血管细节特征信息的损失。

具体操作流程如下:(1)提取的多尺度血管功能是通过ARB1,和地图的大小和数量的渠道特性保持不变。(2)特征映射通过ARB1 ARB2反过来,地图的大小特征是减半,通道的数量改为两次输入通道的数量,等等。随着网络的深度增加,功能图的大小逐渐减少。(3)当特征映射通过的最后一层ARB1编码器,它开始进入SPPM,坐落在编码器和解码器,并通过融合多尺度特性,它可以实现多个感官字段下的血管特征提取。SPPM特征缝合后,通道的数量减少到256使用卷积的大小1×1。两个分支出现SPPM后,助推器分支和解码器分支。(4)辅助部门可以提供辅助的损失,主要和辅助损失和损失可以共同优化网络参数,从而提高血管特性表示和增加血管之间的功能差异和渗出液。值得注意的是,助推器只是培训期间有效。(5)译码器分支可以获得功能层的转置卷积的步长2×2,逐渐增加的大小特征层和功能层的深度减少,而且拼接的高层特征图采样解码器的低级特征图谱相同的编码器的分辨率,然后,它执行功能由ARB1融合。重复直到恢复到输入输出图像大小尺寸。(6)最后,乙状结肠激活函数是用来分类血管和背景来获得最终的分割结果。在图5,“跳过连接”意味着跳连接,“赛格头”是指分割的头,“ConvT”意味着转置卷积,“C”代表特性拼接。

3所示。案例研究

3.1。病人

28岁的女性病人,被医院确诊为“口干、过度饮酒和过度吃了6年,血糖控制不佳,1周。”她曾经用“胰岛素”来降低血糖,然而,现在,她正在“逾越节,阿莫西林,Riton“降低葡萄糖不规则。她右膝手术史,否认有任何其他疾病或遗传性疾病的家族史。她的父母是近亲。她身高158厘米,体重72公斤,体重指数为28.8 kg / m2,她肥胖,如图所示6。5厘米×5 cm-sized质量被视为背面与疼痛和皮肤温度升高,压力和多个痂被两下肢皮肤上(见图6(e))。辅助检查:血、尿、大便常规,肝、肾功能、电解质、血淀粉酶是正常的。空腹血糖是10.10更易/ L。2 h餐后血糖为15.10更易/ L。禁食c -肽是2.14 ng / mL。2 h餐后c -肽是4.06 ng / mL。尿白蛋白为242.00 mg / L,尿肌酐7.07更易/ L, 24小时尿蛋白定量是0.18克。甲状腺功能和皮质醇节律是正常的。底部超声显示增生性糖尿病性视网膜病变的变化。后面质量超声显示液固混合回声的质量。 The chest CT, adrenal enhancement CT, heart, abdomen, and uterine appendage ultrasound were all normal. The ultrasound of the chest CT, enhanced CT of adrenal glands, heart, abdomen, and uterine appendages showed no abnormalities, and the abdominal CT suggested mild fatty liver. The patient's parents, brother, and sister did not find any abnormality after a detailed examination and denied diabetes and other related diseases. During hospitalization, the patient was treated with insulin to lower glucose, colesartan tablets to lower urine protein, cefoperazone sulbactam sodium injection to fight infection, and an incision was made for the drainage of the back abscess. She was discharged with the diagnosis of “JBS, glycosuria, diabetic nephropathy stage III, proliferative diabetic retinopathy, obesity, back soft tissue abscess, and fatty liver.” After discharge, she was given acarbose tablets, short-acting insulin before three meals + basal long-acting insulin to control blood glucose, and cloxacin tablets to reduce urinary protein.

a - b:眼间距扩大,低鼻根,双边鼻发育不全,面部有毛,和多个粉刺。c - d:轻微的光秃的头顶,低的发际线。艾凡:两下肢皮肤上的多个透。

3.2。结果和观察

外分泌胰腺功能不全和鼻发育不全患者最常见的JBS和被认为在80%以上的情况下,虽然糖尿病只占其中的10% (9]。胰岛素依赖型糖尿病或noninsulin-dependent主要发生在患者糖尿病演示(9- - - - - -11]。JBS的并发症,糖尿病可能是一个持续的过程的结果胰腺破坏和/或缺乏从外分泌细胞中提取的营养因素。在这种情况下,受损的主要临床表现是糖尿病,胰岛β细胞分泌,和糖尿病的慢性并发症已经出现在仅仅几年,这明显快于2型糖尿病的自然过程。因此,应该考虑连续胰腺破坏的可能性。在这项研究中,我们报告的JBS与糖尿病和双边鼻发育不全,一个新的突变站点c。4463 T > C UBR1基因被确定,如图7。

4所示。实验结果和比较分析

4.1。数据集和数据增大

CHASEDB1和凝视国际出版和广泛使用的眼底血管分割的数据集。28视网膜图像的分辨率为999×960像素像素包含在CHASEDB1,和20视网膜图像分辨率为700×605像素像素被包含在凝视。CHASEDB1, 20个图像被用于训练,其余8图像被用于测试在文献[12,13]。凝视,反复核查进行使用分析方法在文献[10]。领域的视网膜血管分割,最上面的研究使用的第一个专家手工分割结果标签并与最终的预测结果。在这项研究中,第一个专家手工分割结果也用作上述标准数据集的评价模型。

此外,网络训练是进行图像预处理完成的补丁,可以减少培训过程中参数的数量,同时增加数据。拦截补丁的大小为64×64像素,像素与中心内随机选择完整的形象。在培训期间,200000年和190000年从CHASEDB1提取的补丁,瞪大,分别和90%的补丁是随机选择的培训和验证为10%。图8显示输入网络的训练样本和标签在凝视。

4.2。数据预处理

由于低对比度血管树和视网膜之间的原始图像和背景光照不均匀的影响和中央脉管系统的反射,图像中有一个很大的噪音,这将减少相同的功能的分化,影响最终的分割结果。改善血管树的对比,改善不均匀照明,去除噪声。预处理执行如下:(1)灰度转换(2)图像归一化(3)contrast-limited自适应直方图均衡化(CLAHE) [10,11](4)伽马校正(5)图像归一化

图9显示原始图像和图像预处理的凝视。

4.3。性能评价指标

在这项研究中,F1-score精度(一个)、敏感性(年代)、特异性(年代′),工作特征曲线(ROC),和曲线下面积(AUC)公关被用来客观地评价视网膜血管分割的影响。第一个四个评价指标是由下列公式计算: P是精确率,R召回率、TP、TN真阳性和真正的阴性,表示像素的数量正确归类为血管和nonvascular分别FP和FN假阳性和假阴性,表示像素的数量不正确归类为血管和nonvascular分别F1是用来测量结果和专家之间的相似性算法分割结果,反映了算法的性能在正确分类的血管和nonvascular像素,反映了算法的性能在正确分类血管像素,年代反映了正确分类算法的性能nonvascular像素,S′反映了正确分类算法的性能血管像素,和S′反映了正确分类算法的性能nonvascular像素。更大的AUC ROC和公关曲线下的面积,更好的分割性能模型和更健壮。区分性能,AUC ROC曲线下面积,AUC来标示(ROC)曲线下的公关和AUC区域和AUC (PR)表示。

4.4。分析不同的分割模型的实验结果

Mapnet分割性能验证chasedb1和明星,并与参考文献[16,17]。文献[17)提出了基于encoding-decoding u-net算法架构。文学也是基于编码解码架构,和上采样采用antipooling方法,一定程度上提高了边界描述能力。文献[16]是一种进步的文学(17),提出了注意门机制和致密连接的子模式,分别有一定的改善性能的原始u-net算法。

它可以看到从图的第一行10视神经盘附近的区域,由于不均匀光照的影响,主要的血管破裂血管的分支在其他算法在文献中,有不同程度的血管合并。虽然mapnet可以有效地避免主要血管断裂,它可以更好的区分不同的血管。它可以看到从图线2和310该算法在文献[17)错误地将视神经盘划分为血管。获得的结果的算法在文献[16)有不同程度的视神经盘错误的分割,和mapnet可以更好的段视神经盘,以避免错误的血管。因为附近的硬分泌物的影响血管,血管断裂发生在结果的算法在文献[16,17),而mapnet和算法在文献[31]可以更好地避免血管断裂的发生。然而,在血管的交集,结果被其他算法在文献中出现的小血管破裂的现象,和mapnet避免小血管破裂的现象,这表明mapnet具有更好的鲁棒性。

4.5。比较分析的细节分割效果

更清楚地反映算法的性能优势,数字11显示小血管的地方,渗出液,和交叉血管chasedb1和明星。数据(11日)∼11 (c)显示原始图像,原始图像的细节,和标签的细节,分别和数字10 (d)∼10 (f)显示分割算法的细节,文档,文档(17],分别。通过观察图的第一行11,它可以发现视神经盘附近的区域,由于工件的干扰,获得的结果的算法在文献[17)血管分割和断裂的现象。因为该算法在文献[17只使用一个普通的卷积层,特征提取能力不强。网络层的不断增加,梯度消失的风险也大大增加。池层的存在将导致严重的血管局部细节的损失。相比之下,该算法使用arb1而不是一个普通的卷积层提高特征提取能力和减少的影响因素,如光照不均和血管中央反射。Arb2代替池层用于保留更多血管的局部细节。因此,它可以成功区分血管与背景区域和更好的解决血管断裂的问题。

网络结构的限制,该算法在文献[17)错误地将硬渗出物划分为血管。然而,该算法在本文介绍了辅助损失,这就增加了特征区分血管和渗出液,和更好的抑制血管分割渗漏的影响。

它可以通过观察找到图的第二行11,很难准确段血管由于血管树的复杂性和可变性。获得的结果的算法在文献[17)破碎的小血管和血管不同程度,和获得的结果的算法在文献[17)错误的血管。本文中的算法增加了pmb和SPPM的设计,可有效恢复和集成的特征信息编码血管的同时捕捉多尺度信息部分,小血管的分割和交叉血管也具有较强的鲁棒性,并没有细分断裂问题。

总之,与上述文献中算法相比,该算法有很大优势,可以获得更多的血管细节信息和语义信息,可以有效地克服低对比度等因素的影响,变量血管形状和视网膜病变,可以准确段血管,其性能优于其他方法。

4.6。每个模块对整个模型的影响

验证每个模块添加到mapnet的有效性,消融实验chasedb1。实验结果如表所示1。

从表可以看出1subnet_ 1只剩余网络设计研究中,取得了良好的效果在视网膜血管分割,这证明了算法的有效性和合理性设计在这个研究;然而,F1值,灵敏度低,需要进一步改善。根据添加SubNet_2, pmb比subnet_1要好。困难样本的采矿能力增强。AUC (ROC)和AUC (PR)指标明显改善,灵敏度并不是显著提高,因为正面和负面的比例失衡的样本。Mapnet合理整合上述算法的优点充分发挥每个模块尽可能F1值,灵敏度,AUC (ROC)和AUC (PR)达到0.8326,0.8351,0.9861,和0.9155,分别。

5。结论

多尺度分析关注网络提出了解决不足的问题分割的小血管和病理missegmentation在当前的算法。结合残块和注意力机制,提出了ARB子模块。提出网络加强功能传播能力,减少不均匀照明和低对比度的影响,并能提取更多的小血管信息。同时,pmb SPPM可以提出实现多尺度血管特征提取和提高血管分割的性能。保留足够的血管细节,跳编码器和译码器之间的连接,和传统池层是移除。最后,辅助分割后头部设计SPPM增加特征区分血管和渗出液。相比,实验结果表明,与其他深度学习方法分割精度高,mapnet F1具有较高的价值和敏感性和更好的分割性能。它有一定的医学应用价值的诊断、筛查和治疗眼科疾病。然而,pmb和SPPM本文的设计仍有一些主观性。在未来的研究中,我们将考虑引入一个self-attention机制模型远程依赖学习丰富的血管上下文,以便模型自适应捕获血管多尺度特征信息来消除主观因素的干扰,进一步优化网络性能。

在未来,我们渴望该模型扩展到其他网络设备的手机。

数据可用性

使用的数据集和分析在当前研究可从相应的作者在合理的请求。

信息披露

鑫王先生和李芳芳co-first作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

它们有相同的贡献。本文完成了新王的概念和芳芳,赵胖子完成了数据处理。所有作者参与了论文的审查。鑫王先生和李芳芳同样导致了这项工作。