文摘

中风病灶的细分任务,使用注意U-Net模型基于self-attention机制可以抑制无关的区域在一个输入图像而突出特征用于特定任务。然而,当损伤很小,病灶轮廓模糊,注意U-Net可能产生错误的注意力系数地图,导致不正确的分割结果。为了应对这个问题,我们提出一种双重关注薪酬U-Net (DPAC-UNet)网络,由一个主网络和辅助路径网络。网络都是关注U-Net模型和相同的结构。主要道路网络是核心网络执行精确的病灶分割和输出最终的分割结果。辅助网络路径生成辅助注意补偿系数并将它们发送给主路径网络来弥补和纠正可能关注系数错误。DPAC-UNet实现补偿机制,我们提出一种加权二叉叉特沃斯基(WBCE-Tversky)损失训练的主要路径网络实现准确分割并提出另一种复合损失函数称为公差损失训练辅助网络路径生成辅助补偿系数注意地图覆盖范围扩大到执行补偿操作。我们进行分割实验使用239核磁共振扫描的卒中后解剖病变的轮廓描绘(ATLAS)数据集来评估我们的方法的性能和效率。实验结果表明,提出的DSC分数DPAC-UNet网络比单一路径的关注U-Net高出6%。也高于现有分割方法的相关文献。 Therefore, our method demonstrates powerful abilities in the application of stroke lesion segmentation.

1。介绍

近期全球中风病例的发病率统计数据表明,每年有1030万新病例(1]。中风已经成为三大致命疾病,除了慢性疾病。当发生中风时,准确的诊断中风的严重程度和及时溶栓治疗能有效地改善血液供应在缺血区和显著减少残疾甚至死亡的风险。因此,临床上重要的快速和准确的定位和分割中风损伤(2]。因为手动分割依赖于医生的专业经验和医学技能,个人主体性可以减少分割精度。此外,手动分割的中风损伤是耗时的。可能需要一个熟练的示踪几个小时完成准确的标签和复查一个大型复杂的病变的磁共振成像(MRI) (3]。

这种情况已经改变了后卷积神经网络(CNN)的出现(4)及其不断发展的网络结构,如完全卷积网络(FCN) [5]和SegNet [6),在图像分割领域取得了成功,尤其是医学图像分割(7]。然而,CNN-based分割网络需要大量的标记医学数据训练,获得的高成本限制和准确的标签(8]。多级u型网络(U-Net) [9基于CNN),包括收缩和扩张路径,减轻了带安全标签的数据时需要大量的问题。U-Net网络结构及其改进的网络结构,如注意力U-Net [10),U-Net + + (11],R2U-Net [12),已成功应用在医学分割任务,如皮肤癌(13),脑部肿瘤(14),结直肠肿瘤(15),肝脏(16),结肠组织学(17)、肾(18),和血管边界(19]。U-Net网络渠道有数以千计的特性,特别是标准U-Net模型与一个五级结构与巨大的参数被训练。在培训过程中,收缩路径(编码器)和扩张路径(解码器)需要反复提取deep-scale特性。标准U-Net的deep-scale特性被认为是抽象和低分辨率的特性,增加培训困难,使培训不稳定和不足。

减少培训困难引起的反复提取deep-scale特性和提高分割精度,许多研究人员采用两步方法来定位病变和细分目标区域(20.,21]。然而,这些方法引入额外的定位操作,无法实现端到端培训。Schlemper等人介绍了self-attention机制和提出了一个关注U-Net注意门(AG) [10),以避免额外的操作。self-attention机制减少了依赖外部信息获得额外的步骤,利用不同尺度特征信号的相关系数。这种机制捕获的内部相关特性和注意力集中在目标区域。注意U-Net使用AG)来生成一个2 d注意系数映射到抑制无关的区域在一个输入图像突出特征用于特定任务。AG)模块可以集成到标准U-Net模型对端到端学习没有额外pretraining步骤。与标准相比U-Net训练参数,训练参数的数量略有增加额外计算AG)操作。内置self-attention模块的使用消除了使用额外的目标位置操作。实现的目标降低训练难度,提高培训效率,改善模型分割的性能。

然而,self-attention机制基于相关操作有一些缺陷。注意系数对于约束感兴趣的领域是current-scale特性产生的信号和rougher-scale特征信号来自 ,导致的潜在风险分割网络使用self-attention机制。这意味着一个小病变nondistinct病变特征可能导致当前水平特征信号学习病变功能不足。因此,关注区域的病变区域的偏差由于错误的或注意力系数学习不足会导致不正确的分割结果。

解决问题的注意力偏离病变区域,我们提出了一种双通道关注薪酬U-Net (DPAC-UNet)网络,组成的主要路径网络(主要网络)和辅助路径网络(辅助网络)。两个网络都是关注U-Net分割模型基于self-attention机制具有相同的结构。主网络DPAC-UNet的核心部分,它执行病灶分割和输出最终的分割结果。辅助网络用于生成一个辅助注意补偿系数地图发送到主网络,以弥补可能的注意力系数学习错误。辅助网络实现其补偿能力通过专注于更大的面积比实际的损伤区域,这就增加了报道的关注系数映射生成的辅助网络。面积更大的注意力的关注系数映射的定义是一个宽容的注意力系数地图,这是作为辅助薪酬关注系数,以弥补可能的错误主要网络关注系数图。研究我们的病灶分割网络,我们使用阿特拉斯的数据集3),包括239 t1亚急性和铬中风MRI扫描于2018年发布。

总结了本文的主要贡献如下:(1)我们提出了一个DPAC-UNet使用辅助网络生成一个关注系数映射与一个更大的区域,以弥补可能的缺陷的主要系数映射网络的注意。(2)我们提出了WBCE-Tversky损失和宽容失去训练的主要和辅助网络DPAC-UNet实现对整个网络的影响,分别探索最优hyperparameter配置的两个提议损失函数。

这项工作的其余部分组织如下:在部分2。1的网络结构,我们描述DPAC-UNet以及如何使用辅助网络补偿的关注主要网络。部分2。2提出了两个复合损失函数,WBCE-Tversky损失和宽容的损失。在本节中,我们也进行了实验,讨论不同的hyperparameter值的影响的损失函数分割任务的性能。最后,选择最优的步骤hyperparameter列出两个提出损失函数的配置。节3,我们训练DPAC-UNet WBCE-Tversky和宽容损失函数最优hyperparameter配置。在本节中,一个可视化的例子也提出了进一步证明DPAC-UNet网络的有效性。我们还讨论了时间消耗的主要和辅助DPAC-UNet的网络,我们也试图执行辅助网络的其他细分模型与补偿机制self-attention机制。

2。材料和方法

2.1。DPAC-UNet

注意U-Net介绍了注意盖茨(AG)产生注意力地图,抑制系数无关的区域在一个输入图像而突出特征有助于提高分割性能不引入额外的定位操作。然而,它有时会犯错误。平整的小病变损伤特性很难区分周围的健康组织,导致当前规模特征信号某一层的不学好损伤特性。因此,关注系数生成的使用及其派生的粗糙特性将偏离病变区域。因此,错误的注意力系数导致AG)输出错误的特征信号,从而影响分割结果。因此,如果注意U-Net发现正确的病变在AG)模块,它将强调相关的区域和抑制无关的区域提高分割的性能。相反,如果病变位置没有找到AG)或者是错误的,它会导致相反的效果和降低分割性能。应对前面提到的问题,使用注意U-Net作为基本的细分模式,我们提出DPAC-UNet网络。

2.1.1。结构的概述

DPAC-UNet呈现在图的示意图1。我们使用了两个相同的注意力U-Net模型作为主要和辅助网络分割模型,它对应于上、下一半的图1,分别。WBCE-Tversky损失函数列车的主要网络精确的分割。辅助网络训练的宽容来生成一个宽容的辅助补偿损失的关注系数补偿缺陷的注意系数映射的主要网络。中描述的两个损失函数的细节部分2。2。提出了图1,辅助网络补偿辅助补偿系数注意主网络通过垂直深红色箭头线从AG)标记(II) AG) (I),为了执行补偿操作。我们只是选择了二级AG)添加剂的主要和辅助网络补偿操作。这是因为注意力的分辨率系数映射生成的两个底部AGs ( 和 )太低了。注意力地图的两个网络之间的差异在这解决规模较大是由于一个像素的区别。水平更深时,接受域受到单个像素非常大的影响。因此,在这种规模的补偿操作辅助网络产生重大影响的主要网络,和补偿操作产生大幅波动的关注。此外,第一级AG),这是接近最外层组织的产出,不执行辅助注意补偿操作,因为功能映射输出太近,会影响分割结果。总之,我们只选择了二级AG)实现补偿操作,以便有效地弥补缺陷的关注系数的主要网络地图,并确保它不直接影响病灶分割的准确性的主要网络。

图2介绍了AG)原理的主要和辅助网络第二层次。AG)第一、第三和第四层次如图1,没有参与辅助注意系数补偿操作,在结构上是相同的AG)在文献[10]。AG)标记为(2)的图的下半部分1是二级AG U-Net辅助网络的关注,和它的具体结构如图2(一个)。在图2(一个),①和②是辅助网络的输入AG)④是跳过当前水平的输出连接(SC)是当前AG)的数量(在这种情况下吗 ),和特征信号和对应的输入标记①和②。特征信号 和 被发送到AG块生成注意系数使用添加剂的注意力一代操作以确定该地区集中,像素数量,是通道的输入特征信号的数量吗在目前的水平,是通道的输入特征信号的数量吗在粗糙的水平。当添加剂注意系数映射使用生成和 ,特征信号乘以和用作AG)门的输出发送到解码路径通过SC在当前水平。加关注系数标记为③辅助补偿关注系数映射和发送到AG)标记为(I)在同一水平上,在同一位置的主要网络图的上半部分1。方程生成辅助网络的关注系数如下:

提出了图2(一个),考虑到通道的尺寸特性不一致的空间分辨率和特性和 ,我们还需要使用upsampling操作来改变信号的空间分辨率使其一致 。此外,我们需要使用线性变换 和 制作的数量特性这两个信号相同的渠道,在哪里 和 表示两个线性变换的偏见。在(1),是ReLU激活函数,这个激活函数是线性的输出改变了吗 形成一个注意的系数矩阵通道只有一个特征。在(2),乙状结肠激活函数注意系数矩阵转换成网格关注系数图采取行动 。重新取样 ,然后,重新取样结果乘以生成AG)输出特性的信号 。图2 (b)给出了框图的AG)标记为(I)在图的上半部分1,辅助补偿系数注意地图补偿主网络。信号的结构和方程和辅助操作过程几乎一致的网络,呈现在图2(一个)。不同之处在于,当生成最终的添加剂熔融注意系数图,辅助补偿系数注意地图生成的辅助网络AG)被标记为③,并执行添加剂融合在一起与原系数映射生成的主要关注网络AG)生成的输入①和②。根据(3)和(4④),输出特性信号的主要网络AG)生成。图2 (c)提出了各种操作符号的定义和维度的变化信号的数据输入和输出特性2(一个)和2 (b)。

2.1.2。辅助网络的补偿机制

传统的单一路径self-attention模型生成一个空间注意系数AG)覆盖病变区域地图的特性更加注意病变区域提高分割的性能。我们建议的方法构建一个辅助网络生成一个辅助注意系数映射与一个更大的覆盖范围补偿分割网络(主要网络)来提高命中率的完全覆盖病变的空间注意系数图。应该注意,注意薪酬地图不会偏离原来的关注区域的主要网络但是将限制增加了关注区域。这补偿机制是特别有效的病变特点是模糊时,病变的轮廓尚不清楚,或细分模式不能生成正确的地区的利益。

使用的主要的定性分析和比较网络单独或结合一个辅助网络陈述如下。当DPAC-UNet使用辅助网络来补偿主网络,有三种情况:情况1。(1)单独使用的主要网络:当关注的重点区域系数的单一路径网络地图部分正确的(图3(一)①),这将导致减少了分割性能。(2)结合辅助网络:在辅助网络补偿主网络的注意力系数映射通过添加剂与更大的集中区域补偿,补偿注意系数映射可能是正确的(图3(一)、②)或保持不变(图3(a),③),最终将提高分割的性能或维持分割性能。情况2。(1)单独使用的主要网络:当关注的重点区域系数的主要网络是完全正确的,这将产生正确的分割结果(图3①(b))。(2)结合辅助网络:尽管辅助网络补偿系数更大关注地图,另外补偿操作后,原始的值正确的焦点面积变大,和其他领域的价值仍小于正确的区域(图的价值3(b),②)。因此,DPAC-UNet的主要网络仍然可以支付更高的注意价值在正确的区域并保持分割性能不变。情况3。(1)单独使用的主要网络:当主网络关注的焦点区域系数是完全错误的(图3(c)、①),这将导致减少了分割性能。(2)结合辅助网络:更大的辅助注意系数补偿地图生成的辅助网络覆盖面积较大,系数和补偿关注地图可能仍然错误(图3(c),②),或者正确的部分(图3(c)、③),或者完全正确(图3(c),④)。这时,相应地,分割性能将保持不变,或提高在某种程度上,或显著改善。

因此,结合前面提到的三种情况下,整个数据集的平均分割的整体性能将得到改善。它还可以看到从图3注意系数映射生成的辅助网络不偏离系数生成的地图区域主要关注网络。

2.2。损失函数DPAC-UNet

我们提出了两种不同的复合损失函数训练的主要和辅助网络。首先,我们提出了WBCE-Tversky损失的主要网络生成一个关注系数映射集中在目标区域和一个精确的分割结果。其次,我们提出了公差辅助网络生成一个辅助补偿损失系数注意地图与一个更大的覆盖范围,以弥补主网络。叫做宽容的损失,因为它可以生成一个关注系数地图覆盖面积较大,不偏离病变区域,这意味着更高的容错处理错误。

2.2.1。WBCE-Tversky损失

特沃斯基损失(22),提出了解决数据不平衡在医学图像分割,介绍我们的WBCE-Tversky作为一个组成部分。特沃斯基损失如下: 在哪里代表体素是一种损伤的概率表示相反的,表示是否病变和体素的概率表示相反的。特沃斯基损失之间达到一个平衡假阳性(FP)和假阴性(FN)通过配置其hyperparameter的价值和 ,在哪里 。一个更高的意味着训练模型的价值回忆给出的重量比的精度,FN的网络支付更多的关注。通常,病变的体积显著低于健康组织。例如,在239年的核磁共振扫描的地图数据集,病变的立体像素数量比背景是关于3:1000。的高比率nonlesion病变使分割网络倾向于关注nonlesion区域,因此,预测病变nonlesions和增加FN在预测结果。为了解决这个问题,我们hyperparameter的价值增加特沃斯基的损失。更大的给予更大的重量回忆比精度通过将重点更多地放在FN。我们假设使用更高在我们的广义损失函数在训练会导致更高的泛化和对不平衡数据集的性能改善。所以,我们使用Tversky损失更高作为的一部分WBCE-Tversky损失DPAC-UNet的主要网络培训。与此同时,在宽容的损失,我们也需要使用一个特沃斯基损失函数约束的增长系数注意地图,以确保更大、更宽容的关注领域不会偏离病变区域。比较的分割性能特沃斯基的不同的hyperparameter值损失并选择适当的hyperparameterWBCE-Tversky损失和宽容损失,我们特沃斯基损失用于训练的基本分割模型,U-Net关注。的hyperparameter特沃斯基的损失范围从0.5到0.95,使用0.5的价值区间。我们做了一个实验使用5倍交叉验证,hyperparameters常被用来训练模型需要优化。我们把239中风MRI扫描到训练,验证集和测试集,根据图5倍交叉验证4。

首先,在每一个褶皱,我们把数据分为训练集和测试集使用比率约5:1(199:40),我们确保所有测试集的所有核磁共振扫描不重复。第二,我们进一步将训练集在每个折叠成内部使用训练集和验证集的比例是4:1 (160:39)。验证设置用于选择表现最好的模型训练集训练。此外,我们也确保了培训,验证集和测试集的每一个褶皱都有相同的损伤体积分布实验结果的准确性。褶皱的损伤尺寸分布呈现在图15。

实验训练注意力U-Net使用特沃斯基的配置和结果展示在表1。我们使用了10个不同的值来执行5倍交叉验证和计算的平均指标分数所有测试集的结果。我们使用了骰子相似系数(DSC), F2得分(F2),精密(前),和回忆(重新)作为模型评价指标。DSC是一种广泛使用的度量的性能评价模型;F2分数常被用来评估模型的性能不平衡数据;量化前的积极类预测数量属于积极类;重新量化的积极类预测数据集的所有积极的例子。实验结果的训练注意U-Net hyperparameter不同展示在表值Tversky损失1。

如表所示1时获得的,最大的价值需要一个较大的值为0.95,最大限度值时获得的最小值为0.05。DSC和F2分数时达到最大 。同时,PRE和再保险之间的权衡,表明,阿特拉斯不平衡数据集,训练一个模型使用与hyperparameter Tversky损失 提高了分割精度。我们需要一个损失函数,可以训练的主要网络DPAC-UNet达到一个精确的分割。为了提高分类的性能,我们可以通过选择hyperparameter处理不平衡数据集特沃斯基的价值损失训练基本分割模型,以减少的趋势分为nonlesion的病变。如表所示1,使用与hyperparameter Tversky损失 训练注意力U-Net图谱数据集上达到最高的分割性能。然而,在(5),如果分母特沃斯基的损失是一个很小的值,它会导致不稳定在反向传播和推导。为了解决这个问题,我们引入了WBCE损失(23]的另一部分WBCE-Tversky损失。一方面,它避免了反向传播和梯度计算不稳定造成的问题特沃斯基损失小的分母。另一方面,使用WBCE损失和给少数类更大的权重方程适应不平衡的数据集,进一步提高了分割的整体性能。WBCE损失函数可微的性质,简化了优化过程。提出的方程WBCE-Tversky损失提出了(8)。复合损失函数是由特沃斯基的损失( )WBCE损失,提出了各自的方程

WBCE损失增加体重标准公元前损失给像素更重要,和更高的训练重量时损伤的面积很小,从而改善不平衡数据集的分割性能。在(6),WBCE损失的主要部分是一样的(公元前损失23]。唯一的区别是,我们修改后的重量的计算方法在(7)和互惠的病变像素的比例对所有像素的重量 ,在哪里表示像素的数量在整个图像分割和是病变的数量像素分割,然后呢 是用来防止除零错误。

测试和验证提出WBCE-Tversky损失,我们进行了一系列的对比实验使用WBCE损失,特沃斯基不同hyperparameter损失 ,和WBCE-Tversky损失不同 。中使用的模型实验,实验数据,实验条件对应于表一样的实验1。实验参数配置和结果展示在表2。从表可以看出2同样,hyperparameter ,的DSC和F2分数WBCE-Tversky损失比·特沃斯基的损失。WBCE-Tversky损失还执行最好 。与WBCE损失相比,分割精度显著提高,DSC分数提高了6.5%,F2得分增加了12.5%。总之,在阿特拉斯不平衡数据集,使用WBCE-Tversky损失 训练注意力U-Net模型达到最佳的分割性能。因此,我们使用WBCE-Tversky损失 的损失函数DPAC-UNet病灶分割的主要网络准确。

2.2.2。宽容损失

当焦点面积大于实际的损伤区域,分割结果模型的FP增长。FP和玻璃钢比例,这意味着我们可以间接测量的宽容程度病变区域使用玻璃钢。间接测量的宽容程度辅助补偿系数图,注意我们使用了玻璃钢价值作为确定指标关注的宽容程度系数生成的辅助网络。为主要的网络提供一个更宽容的辅助补偿系数地图和一个更大的覆盖范围,注意我们提出了公差损失通过引入特异性降低项目结合特沃斯基的损失。叫做宽容损失,因为复合损失函数的训练目标是获得一个关注系数高的地图宽容。提出的公差损失提出了(11), 表示特异性降低项目在(10)。的概念特异性降低项目基于调整的特异性衡量底片的比例,正确识别,和年代提出了

一般来说,在不平衡数据集nonlesions占据很大一部分的总面积。使用阿特拉斯的数据集作为一个例子,特异性分割结果达到高达95%。自 ,这意味着nonlesions确认为nonlesions比例越大,玻璃钢,越小,越宽容辅助补偿系数注意地图。因此,我们引入一个特异性降低项目减少特异性的分割结果,提高玻璃钢的辅助网络的训练结果,并提高注意力的覆盖区域系数的大小地图。在(10)和(11),我们使用了hyperparameters和控制的重量特异性降低项目在宽容的损失。我们的平方特异性降低项目和特沃斯基损失平衡方程使逆向推导和反向传播更加容易。

在(10),特异性降低项目广场之间的区别吗特异性方程和 。由于任何损失函数的培养目标是使值尽可能小,训练的目标(10)是使值0,这意味着的价值特异性接近hyperparameter的价值 。因此,设定一个合理的可以控制特异性价值所需的程度。越小 ,越小特异性通过网络培训。正如前面提到的, ,越小特异性获得的玻璃钢值越大,产生的注意力系数映射更宽容,更大的覆盖范围。我们设置了hyperparameter值的公差损失0.6,0.7,0.8,0.9。其他hyperparameter设置为1、2、3、4或5调整的贡献特异性降低项目宽容的损失。hyperparameter的价值显示设置为0.8节中讨论的结论2.2。1。实验结果展示在表3。

如表所示3,生成的不同的玻璃钢值宽容不同hyperparameters损失和进行了比较。基于(10),当 ,的宽容让最重要的重量损失特异性降低项目。增加并保持不断产生更高的玻璃钢。此外,小的价值 ,的值越小特异性,玻璃钢越高。在表3最大的玻璃钢时获得的价值 ,和玻璃钢达到高达18.97%。我们还引入一个特沃斯基损失部分约束的空间位置和轮廓形状病变和限制的增长注意力玻璃钢价值高的覆盖范围,而不是随机增加结果的玻璃钢。

作为视觉的例子,我们出口的注意力热图系数四个不同病变的MRI片大小,由注重U-Net分段训练的宽容与10个不同配置的hyperparameter损失。生成的注意力热图系数是AG(标记为II)辅助网络图1。注意,在宽容损失,hyperparameter 是固定的,因为我们使用了其他两个参数调整玻璃钢价值。考虑到玻璃钢的可能是由于一个较小的值和一个更大的或更大和一个小 ,画的热图,我们的玻璃钢值排序表3和选择10 hyperparameter均匀配置的公差按照不同的玻璃钢值损失。的注意力热图系数选择10 hyperparameter配置表3也呈现在图吗6。可以看出,随着玻璃钢值增加,关注系数图的覆盖范围逐渐增加。由于限制Tversky损失部分的公差损失,虽然焦点面积逐渐增加,但它并没有偏离病变区域。因此,当宽容损失DPAC-UNet用于辅助网络,主要的网络得到补偿系数与正确的地区关注无论玻璃钢的增加价值和覆盖范围。然而,覆盖范围的辅助补偿系数图,注意的情况并不是越大越好,表明玻璃钢不是尽可能高。我们需要设定一个温和hyperparameters的价值和为DPAC-UNet提供最佳的分割性能。因此,在会话3中,最优和hyperparameters将选择基于DPAC-UNet模型根据实验性能。

2.2.3。Hyperparameter选择

为了辅助网络生成一个更大的适当关注系数映射,它需要被训练的公差提出损失。只有当hyperparameter配置适当选择宽容的损失函数,辅助网络可以提供适度的补偿注意模块的主要网络提高分割的性能。损失函数的选择过程hyperparameter配置的主要和辅助网络遵循以下两个步骤:步骤1。以0.05为间隔,从0.5到0.95,使用10个不同Tversky训练单一路径损失值关注U-Net模型,取值和选择最佳的分割性能拟议的WBCE-Tversky价值损失和宽容的损失。步骤2。选择适当的δ和λ公差值损失,以便辅助网络能提供适当的注意力地图补偿系数,实现最佳的分割性能的整个DPAC-UNet,我们使用WBCE-Tversky损失函数(修复β值已经在第一步中选择)训练的主要网络。我们设置了宽容的损失δ值为0.6,0.7,0.8,0.9,集λ值1、2、3、4、5;我们使用共有20个不同参数对公差损失训练辅助网络,和花δ和λ对与最佳的分割性能提出了公差的选择价值损失。

当我们的方法应用于其他不同类型的数据集的医学分割任务或不同的分割模型,损失函数的hyperparameter配置不同,和hyperparameter值需要再决定。这是因为hyperparameter损失函数的选择需要考虑不同数据集的不平衡和个体差异的关注地图生成的不同的模型。

3所示。实验结果和分析

3.1。数据集和训练

地图数据集三维高分辨率能够满足旋转切割的要求操作,其中包含239核磁共振数据,侧重于亚急性和慢性中风疾病的阶段。操作mni - 152 (24图像配准,强度归一化(25),偏压场校正(26),和改变核磁共振扫描的分辨率 通过裁剪和适合我们的方法进行插值操作。我们使用6倍交叉验证,以确保测试集可以覆盖整个数据集。我们也把每个折叠成内循环的训练集训练集和验证集内循环最佳模式选择。应该注意,因为不同大小的核磁共振成像的分布极其不均衡数据集,它是必要的,以确保培训,验证集和测试集也有类似的病灶大小的分布。

我们使用深度学习框架PyTorch进行实验三T4 NVIDIA Tesla gpu。我们训练模型100时代和保存最好的模型验证集的损失是最小的。我们使用了超前优化器(27模型训练。优化器可以提高稳定性的优化过程,并同时考虑的动态调整学习速率和加速度的梯度下降法。我们最初的学习速率 。使用相同的实验条件和环境,在前面的实验部分2用于繁殖,单路径分割模型,如U-Net U-Net和关注。我们应用WBCE-Tversky损失对准确分割训练这些单一路径模型,并使用他们的结果我们DPAC-UNet方法的结果进行比较。

3.2。实验和结果

节2。1,我们阐述了拟议中的DPAC网络结构的原则。使用注意U-Net作为基本的细分模式的主要和辅助网络DPAC方法,我们提出了一个具体的细分模型,DPAC-UNet。节2。2,我们也提出了WBCE-Tversky损失和宽容损失训练主要和辅助网络,分别。此外,我们探讨和验证hyperparameter的价值WBCE-Tversky损失通过实验提出了表1和2时,发现 ,主网络的基础上,注意U-Net WBCE-Tversky训练达到最佳的分割性能的损失。

我们还解释了不同hyperparameters的值之间的关系和的覆盖范围和辅助补偿系数映射部分的关注2。2。辅助的覆盖范围关注系数映射玻璃钢值成正比,与玻璃钢值成正比与成反比 。我们需要选择一个合适的组和辅助注意系数值来获得一个地图和一个合适的覆盖范围,以使DPAC-UNet达到最佳的分割性能。因此,基于实验结果,如表所示3,我们的最佳hyperparameter配置进行了探讨和培训最好的DPAC-UNet模型。我们使用了宽容损失( )配置了不同hyperparameters和DPAC-UNet训练辅助网络和WBCE-Tversky损失( )培训的主要网络DPAC-UNet。

表4提出了相对应的实验结果实验DPAC-UNet训练的宽容与不同的hyperparameters损失函数。在表4,玻璃钢代表单一路径的玻璃钢结果关注U-Net训练通过宽容损失函数与不同的hyperparameter配置表3。我们玻璃钢以升序排序并确定相应的公差损失函数和hyperparameter配置。我们用宽容与这些排序损失函数配置培训辅助网络DPAC-UNet和WBCE-Tversky损失( )培训的主要网络。然后,我们得到了实验结果的不同配置DPAC-UNet选择最好的hyperparameter配置。

通过观察玻璃钢之间的关系和细分指标,如表所示4,很显然,随着覆盖范围的关注系数生成的辅助网络增加(玻璃钢 ),DSC和F2 DPAC-UNet逐渐增加的分数。当hyperparameters的值 和 ,DSC和F2分数获得最大的价值。随着玻璃钢进一步增加时,分割性能逐渐下降。当与玻璃钢覆盖范围显著增加值,它消极地影响主网络。提出了图6,当 和 6日,玻璃钢值达到最大值,以及辅助补偿的覆盖范围的关注,它占据了四分之一的大脑切片。这个时候,覆盖面积太大限制的主要网络有效地关注正确的病变区域。其注意力系数映射生成的这个hyperparameter配置甚至干扰主网络,所以其DSC和F2分数负面影响如表所示4。玻璃钢的变化是由hyperparameters吗和在一起。玻璃钢成正比λ与成反比δ。因此,最小的和最大的将产生最小的玻璃钢 ,和最大的和最小的将导致最大的玻璃钢 。图7提出了一种用玻璃钢折线图的分割精度变化 。折线图显示的玻璃钢DPAC-UNet分割精度变化增加。随着玻璃钢增加,DSC, F2分数增加然后减少。它表明,当玻璃钢占地面积小,相应的辅助注意补偿系数映射也小。无法弥补的主要网络充分和有效的。当玻璃钢值太大,它倾向于过度补偿。只有当温和hyperparameter值及其对应的玻璃钢值是温和DPAC-UNet能实现最佳的分割性能。

同时,它可以从表4玻璃钢DPAC-UNet生成的值的主要网络都小,不论使用的辅助网络的损失函数和相应的玻璃钢价值。这是因为辅助补偿的补偿操作注意系数映射生成的辅助网络并不直接影响主网络的分割结果。是一个额外的补偿操作的辅助网络主网络在训练过程中;因此,它并不参与梯度操作和反向传播的主要网络。然而,这部分修改主网络的覆盖范围的大小的注意力系数图。主要的网络仍然认为准确分割为训练目的。它不产生FP高达辅助网络补偿后由于增加关注区域。

总之,当主网络使用与hyperparameter配置WCBE-Tversky损失函数 8,辅助网络使用公差与hyperparameter配置损失函数 , ,和 ,我们的DPAC-UNet可以达到最高的分割精度。

3.3。可视化例子

显示DPAC-UNet的原理,我们给的注意力热图系数和分割结果使用注意U-Net(主要网络)分别与辅助网络和使用DPAC-UNet当分段MRI片,呈现在图8。

单独使用的主要网络呈现在图8(一个),②关注生成的系数的热图二级经典关注U-Net AG);它可以观察到,其注意力地图系数有明显的缺陷。虽然病变的位置是正确的,病变的覆盖范围太小,不能进行准确的分割。③分割结果;比较与真理的①③,可以看出,分割结果有很大的区别和地面真理。当使用DPAC-UNet段片,呈现在图8 (b),②生成的注意力热图系数主要网络位置标记为(I)图1。很明显,从图的注意力热图系数有明显的缺陷与②一致,呈现在图8(一个)也是一个有缺陷的注意力热图,覆盖范围小于实际的损伤。值得注意的是,注意力热图②系数,呈现在图8 (b),介绍了一定量的噪声。提出了图8 (b),③是生成的辅助补偿系数注意DPAC-UNet辅助网络的位置标记为(2)在图1。很明显,适度覆盖面积大于实际的损伤,并覆盖正确的病变区域。补偿后辅助补偿系数注意③地图的主要网络的关注系数映射②通过添加剂补偿操作,一个新的关注系数映射后得到补偿,如④所示。④比较和②呈现在图8 (b)的覆盖范围不足,注意力在②补偿系数,和噪音也显著降低。⑤DPAC-UNet是最后的分割结果。使用DPAC-UNet后,分割结果是显著提高病灶轮廓和区域。这里要注意的一件事是当我们比较图的热图②8(一个)由单一路径产生注意力U-Net和图的热图②8 (b)由DPAC-UNet生成的主要网络数据的注意力热图8(一个)和8 (b)略有不同的噪声水平,因为他们是两个独立的训练模型,但各自的热图②相同的模式的缺陷。

3.4。比较不同的方法

许多病变分割方法研究了最近使用阿特拉斯的数据集。周等人提出了一种新的架构称为dimension-fusion-UNet (D-UNet) [28],它结合了2 d和3 d的卷积编码阶段。杨等人提出了一个使用横向校正CLCI-Net融合和上下文推理网络(29日]。前面提到的现有的分割结果作为我们的实验比较。

使用相同的条件与前面的实验中,我们进行了比较实验的模型和损失函数:(1)U-Net [9由WBCE-Tversky损失()模式训练 )(2)注意U-Net [10由WBCE-Tversky损失()训练 )(3)DPAC-UNet模型提出,培训由WBCE-Tversky损失和宽容损失( )

例(2)和(3)分别单独使用的主要网络并结合辅助网络。

最后一个实验比较研究的结果发表在表5DPAC-UNet达到最高的DSC和F2分数。关注与DPAC-UNet U-Net比较单一路径模型,使用的主要网络单独介绍辅助补偿机制的关注,DSC分数提高了6%。比较经典的U-Net U-Net与关注,从没有注意到self-attention机制的引入,DSC分数只提高了2.1%。前面提到的比较表明,我们DPAC-UNet相比有一个非常显著的性能改进单一路径self-attention分割模型。与现有文献中的方法相比,它是5.7%高于D-UNet CLCI-NET高出1.1%。这表明我们DPAC-UNet实现改进的分割性能比现有的方法。如图9,我们奉献给你们一组箱线图的239核磁共振扫描的分割性能分布对不同模型的性能进行评估。239年的分割结果生成6个不重复的测试集6倍交叉验证嵌套分割了。箱线图,我们可以以下状态:首先,比较我们的DPAC-UNet模型和其他两个模型,整体分割精度显著提高,而且,箱线图的最小值DSC和F2分数及其下四分位数的值显著增加。这证明了我们的方法极大地提高了数据使用另外两个方法性能较差。第二,当比较的中间值和上四分位数箱线图,我们可以看到,与更好的分割性能的数据分割的其他两个模型,DPAC-UNet有轻微改善。对数据有明显病变特征很容易段,主要的网络可以生成一个正确的关注与高概率系数图。在这个时候,使用辅助网络补偿的主要网络不会减少分割精度甚至略有提高。通过观察玻璃钢的箱线图的结果,很明显,玻璃钢值的三个模型一直很小。这证明虽然辅助补偿系数映射生成的注意DPAC-UNet辅助网络具有很高的玻璃钢,补偿后的主要网络,分割结果的主要网络维护一个小玻璃钢。

3.5。时间消耗

参数数量、培训和测试计算时间为每个DPAC-UNet列在表的一部分6了解网络的哪一部分需要更多的时间来执行。由于主要和辅助网络并行训练作为一个整体,各部分的计算时间无法衡量分别在同一时间。因此,我们比较了计算的复杂性和时间消耗的主要和辅助网络DPAC-UNet通过训练他们独立。

DPAC-UNet训练参数的量双较单一路径注意U-Net(主要网络或辅助网络)。的培训时间DPAC-UNet(平均5.11小时)是关于每个子网的1.7倍(平均3.06小时)。DPAC-UNet的测试时间(平均17秒)是1.7倍,每个子网的平均(10秒)。尽管DPAC-UNet显著增加模型参数的总数和培训时间消耗在辅助网络补偿机制的引入,分割性能显着改善,弥补了缺陷模型的复杂性。

3.6。DPAC其他模型的结构

DPAC结构提出了使用辅助网络补偿的主要网络可以应用于大多数细分模型与空间self-attention。我们实现了我们的方法在其他两个细分模型与self-attention机制,RA-UNet [30.]和AGResU-Net [31日,相比单一路径的实验结果与双路径网络辅助网络。实验结果如表所示7。前面提到的两个单路径分割模型可以有效地提高分类的性能在使用辅助补偿网络的关注。这表明,我们的方法可以应用于其他分割网络self-attention机制。应该注意的是,按照hyperparameter选择步骤部分2.2。3数据集和细分模式变化时,宽容的hyperparameters损失函数需要再决定。如表所示7,当δAGResU-Net的值是0.6,DPAC结构可以实现最佳的分割性能。

4所示。讨论和结论

在本文中,我们提出了使用经典self-attention DPAC-UNet模型,注意U-Net,基本分割模型。实现DPAC-UNet中小学网络的功能,我们提出了WBCE-Tversky和宽容损失培训损失函数,分别。我们探索的hyperparameter配置损失函数通过应用6倍交叉验证对ATLAS中风的239核磁共振数据细分数据集。我们发现WBCE-Tversky损失达到最准确的分割主要网络的性能 。宽容损失生成一个宽容辅助补偿系数注意地图与温和的覆盖范围,以弥补主网络的缺陷注意系数图。时达到最佳的分割性能 , ,和 。实验结果表明,提出的DSC分数DPAC-UNet与辅助网络是没有辅助网络高出6%。与现有文献中的方法相比,提出的DSC分数DPAC-UNet是5.7%高于D-UNet CLCI-NET高出1.1%。结果表明,该方法实现了一种改进的分割性能,验证了该方法的有效性。

应该注意的是,虽然我们在该方法使用相同的数据集D-UNet CLCI-NET,不同的版本。我们使用的版本没有丑化,包含239年,图像,和D-UNet CLCI-NET与丑化,其中包含的版本使用229年,图像。此外,考虑到交叉验证数据集分割方法不生成相同的训练、验证和测试集,同时也考虑到使用的损失函数也不同,实现最佳的分割性能并没有直接证明该方法是最好的。这证明我们已达到一个更高层次的分割性能在当前的方法。

我们工作的目的和重点是提高细分模式的单一路径的注意机制的性能使用我们DPAC方法。如表所示6,虽然我们的方法显然需要更多的计算资源和需要更多的训练时间,改善我们的方法的分割性能平衡的缺点增加模型的复杂性。5小时的培训时间是目前较低或平均水平的一些最新的现有的网络模型,目前用于中风病灶分割。此外,我们将实现DPAC网络结构在其他基本分割模型self-attention机制来验证我们的方法的通用性。我们还证明,如果我们DPAC结构应用于其他模型基于self-attention机制,它还可以有效地提高分割的性能。在未来的工作中,我们计划使用其他中风分割数据集比较我们的方法在不同数据集的有效性。

数据可用性

阿特拉斯数据集是公开的http://fcon_1000.projects.nitrc.org/indi/retro/atlas_download.html。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金(批准号下的国家自然科学基金委)62171307,重点研发项目批准号下的山西201803 d31045(中国),山西省自然科学基金批准号下201801 d121138(中国),研究项目支持下山西奖学金委员会批准号201925(中国),研究生教育创新项目批准号下的山西2018 by051(中国)。