文摘

前庭神经系统的感觉器官,帮助身体维持姿势平衡,和半规管前庭系统的一个重要器官。半规管有三个膜管,每形成大约三分之二的一个圆的直径约6.5毫米,准确和分段是辅助诊断大有好处,前庭疾病的手术和治疗。然而,半规管有体积小,占不到1%的整体计算机断层扫描图像。医生不得不注释图像挤牙膏式的方式,这是耗费时间和劳动密集型。为了解决这个问题,我们提出一种新颖的三维卷积神经网络基于3 d U-Net自动段半规管。我们增加了3 d空间挤压的空间注意机制和激励模块,以及3 d频道关注机制全球关注upsample模块来提高网络性能。我们的网络实现了92.5%的平均骰子系数的测试数据集,它显示了竞争绩效的半规管分割任务。

1。介绍

成年人眩晕的终生患病率是7.4%,一年患病率4.9%,一年发生率为1.4% (1]。前庭神经系统的功能障碍是眩晕的最重要原因之一。前庭器官很小,漂亮的形成,位于深的颞骨控制人体的平衡感和运动2]。人类可以感知头旋转、角加速度和定位在空间由于前庭系统的具体结构:耳石器官和半规管(3]。半规管编码头旋转速度,并提供输入vestibule-ocular反射,vestibulocollic反射,vestibulospinal系统,vestibuloreticular系统,小脑和大脑皮层4]。良性阵发性位置性眩晕(BPPV)眩晕最常见的原因是由于前庭神经系统紊乱。BPPV的机制已被归因于cupulolithiasis或canalithiasis,从而影响半规管的功能,从而导致眩晕(5]。如图1,半规管由上级半规管、后半规管和侧半规管。在医学成像技术、计算机断层扫描(CT)技术是内耳疾病诊断的重要方法。然而,半规管有复杂的结构和体积小,占不到1%的面积在一个单一的CT图像(6),给诊断带来了巨大的困难。自动分割的半规管的CT图像可以帮助排除畸形等疾病和优越的半规管骨裂开。此外,分段半规管的角度可以用来减少定制治疗期间耳石病的治疗。的解剖半规管模型研究前庭的机制具有重要意义。因此,它是有意义的自动分段的半规管,为医生提供宝贵的解剖培训资源。


图1
内耳的半规管的结构。

最近,各种先进的医学图像处理算法已经提出,从传统的机器学习方法和深度学习7]。一些传统方法,如阈值方法,需要手动设置一个或多个合适的阈值。然而,有限的空间分辨率或运动工件在CT成像,一些体素在CT图像包含许多组织类型的混合物而不是单个组织类型(8]。因此,多个阈值设置是必需的,这是耗时的,可怜的泛化性能。该地区日益增长的方法是另一个传统的方法,需要选择合适的种子点,和分割结果高度相关。然而,它是具有挑战性的手动选择合适的种子点。地区经济增长的模式也对噪声敏感,这可能会导致提取的区域空白或链接单独的区域的情况下局部作用[9]。聚类是一种machine-learning-based技术进行图像分割。聚类的原理很简单,它的收敛速度快,这是最重要的一个行业采用它的原因很多。然而,聚类方法对当地的敏感强度变化(10];其性能是不可避免的噪声干扰小器官分割CT卷的任务。

虽然上述方法实现起来比较简单,使用这些手动分割的方法来段小器官CT卷是耗时的,而不是特定于任务的(11),需要一个复杂的解剖学知识基础。此外,小器官分割任务要求精度高,在这种情况下,这些传统的方法不合适。近年来,随着人工智能技术的快速发展为代表深入学习,额外的技术方法提出了医学图像的准确分割6]。无数的深度学习网络结构提出了在不同器官分割任务,如皮肤(12),脑部肿瘤(13,心10)、肺(14),胰腺(15,16分割。

医学图像分割基于深度学习技术大致可以分为两类,即基于2 d CNN——(卷积神经网络)方法和3 d CNN-based方法。方法是基于2 d CNN段容积CT或磁共振成像(MRI)的数据在一个分层技术的方式。例如,完全卷积网络(FCN) [17替代品与卷积层完全连接层,提高网络的泛化能力,提高了训练效率在同一时间。然而,FCN架构往往忽略图像的详细信息由于池层。因此,一些研究已经调查提高分割的准确性。后来,U-Net [18)提出了架构。这种架构提高了分割精度和地址梯度消失的问题,成为最受欢迎的架构在医学图像的分割任务(6]。

体积数据占很大一部分的医学图像形式,如3 d计算机断层扫描(CT)、三维磁共振图像,三维超声(19]。尽管2 d cnn取得了一个伟大的突破slice-based医学图像分割任务,在2 d切片策略cnn分割管道几乎没有充分利用现有三维空间信息的容积CT图像实现竞争力的细分结果3 d cnn。利用整个三维医学图像,提出了几种三维分割网络,包括3 d U-Net [20.],V-Net [21],剩余对称U-Net [22],DenseVoxNet [23],VoxResNet [19]。这些3 d结构可以充分利用三维结构信息,极大地提高他们的能力从体积数据段对象。

在网络中所提到的,3 d U-Net是最广泛使用的。3 d U-Net采用双边对称的体系结构包括一个编码器路径获取上下文信息和一个对称的解码器恢复路径的空间位置,并通过这种方式,它提供了一个全分辨率分割。编码器和解码器通过跳过连接(6]。然而,跳过连接中使用3 d U-Net可能导致的损失详细信息由于低层特征和高层特征之间的差距(24]。为了克服3 d U-Net短缺,我们引入3 d U-Net注意力机制,包括3 d空间挤压和激发(3 d空间SE) [25)模块,以及3 d全球关注Upsample (3 d高斯)[26)模块。3 d空间SE模块是一种空间关注模块捕获任何两个位置之间的空间依赖性的特征图谱编码器,旨在指导网络“看的地方。“3 d高斯模块部署在解码器的道路,这是一种渠道关注模块。这个模块使用低级的信息来帮助高级功能恢复图像的细节,避免了原来的缺点跳过连接用于3 d U-Net。通过添加关注机制,我们的网络能够更有效地提高接受域和分段小物体。实验结果表明,该网络达到最高的准确性半规管分割任务。

为临床领域,外科医生经常检查CT卷作为多平面二维表示,尽管CT数据集本质上是体积。传统方法基于手工的特性,以及以往的深度学习方法,还是一层一层地处理二维图像。这些方法很难满足临床需求的速度和精度。我们的3 d深学习网络注意力机制可以细分小器官的半规管准确,迅速,完全自动地使用三维数据,计算机辅助耳病CT图像处理的一步。具体来说,分割结果可以用来建立一个虚拟现实手术模拟内耳手术或治疗有助于减少定制在耳石病的治疗。

我们做出以下贡献:(1)我们提出一种新颖的网络和应用的半规管CT分割任务。这个方法可以从多个卷自动分离的半规管,帮助放射科医生在临床诊断。(2)我们关注机制适应3 d U-Net架构。空间的注意机制的3 d空间SE模块部署在编码器和通道的注意机制的3 d高斯模块添加解码器。注意机制引导网络训练过程,提高了模型对前景像素在整个CT卷不需要复杂的启发式。我们建议网络解决问题的信息丢失在3 d U-Net跳过连接,实现伟大的影响在分段小器官的半规管CT卷。(3)足够的烧蚀实验来验证改进的有效性基于3 d U-Net。我们也比较的性能提出了网络和其他先进的CNN架构。(4)半规管的与该方法可以有效地分割,所以可以在未来的其他器官,例如,面部神经(27],cochleae [28),和脊髓(29日]。

本文的其余部分组织如下:部分2简要回顾相关工作,和部分3细节我们的网络体系结构、训练方法和推理过程中进一步的深度。我们使用的数据集和实验结果介绍了部分4。最后,部分5和部分6分别讨论和结论。

2.1。传统的分割方法

深度学习的快速发展之前,阈值法和区域生长法等传统方法是使用最广泛的。阈值方法需要手动或自动从后台设置阈值分割目标。适用于分段高对比度物体有锐边。然而,它往往是对噪声敏感和依赖于图像质量30.]。耗时的,几乎不可能手动找到合适的阈值在整个三维医学数据集(31日]。区域增长方法非常敏感的选择种子点和噪声。如果没有适当选择种子点,分割背景噪声作为目标很容易错误。这些方法通常需要高对比度之间的目标区域和背景8]。这样,由于CT图像的低对比度阈值法和区域生长法不适合我们的场景。

2.2。Machine-Learning-Based方法

聚类是一种machine-learning-based技术进行分组类似的数据按照一定的相似性准则。k - means聚类和模糊c均值聚类(FCM)算法是两种基本的聚类分割算法在图像处理30.]。基于模糊聚类的图像分割方法及其改进算法已经广泛使用。Abdel-Maksoud et al。32)提出了一种图像分割方法准确地检测脑瘤,利用k - means聚类技术与模糊c均值算法集成,提高分割质量和准确性在最小执行时间。然而,聚类方法对噪声过于敏感和不符合临床需求。

2.3。Deep-Learning-Based分割方法

2 d CNN-based方法大大提高分割精度与传统的分割方法。例如,Havaei et al。33)提出了一个双向浅网络与不同的级联结构肿瘤在大脑核磁共振图像的分割。这个网络实现了骰子得分83.2%的测试数据集。Ronneberger et al。18)提出了细胞分割U-Net架构。这种架构提高了分割精度和地址梯度消失的问题,所以它变成了一个流行的架构在医学图像分割任务。通过引入新的模块或改进,许多U-Net变体。例如,李et al。34]改良作物U-Net结构通过删除操作和改变损失函数,从而增加网络的处理速度70%,提高矿石图像分割的性能。加权Res-UNet [35)是受残余连接(36]。剩余连接添加U-Net的编码阶段。加权Res-UNet超过基线U-Net模型在精度和灵敏度性能在视网膜血管分割的问题。减少深层网络培训的负担,道et al。37]结合U-Net残余网络和卷积的串行连接模式层变成了一种残余映射和实现更好的意思是交叉在联盟(MIoU)(0.928)的降水云分割任务。周et al。24]提出U-Net + +跳路径的重新设计缩小语义鸿沟的特征图谱编码子网和解码子网,实现借据平均获得3.9分在肝脏和U-Net息肉的CT图像分割任务。

然而,有大量失踪2 d slice-based医疗数据的空间信息。充分利用三维医学图像,提出了几种三维分割网络。3 d U-Net [20.),2 d U-Net架构的扩展(18),以3 d量作为输入和过程相应的三维操作。这个网络可以学习稀疏带注释的容积图像和非洲爪蟾蜍肾脏分割取得了良好的结果。解决问题的半规管和其它小器官分割、李等人提出3 d-dsd [6),重新设计了一个3 d致密连接块和3 d multipool特性融合方案在编码阶段,并采用三维深度监督机制在解码阶段。网络提高了准确性在3 d U-Net颞骨分割,实现数据集骰子系数平均为77.8%。V-Net [21)使用一个编解码器方案和提出损失层基于骰子系数。网络有助于处理情况有很强的失衡前景像素点和背景像素点的数量,和作者证明了前列腺分割任务的效率。基于3 d U-Net,剩余对称U-Net [22)是专为大脑神经元从电子显微镜的三维重建图像。网络取代连接加入通过求和加入跳过连接加入扩展路径和避免了边界效应,可能损害准确性。黄等。38]介绍了DenseNet对象识别,介绍了直接从任何连接层,以确保所有后续层最大层之间信息流动,减少信息损失。歌等。39]扩展DenseNet,提出深3 d-multiscale DenseNet,拥有一个伟大的影响抑制过度拟合问题的网络训练数据集时小。Yu et al。23]扩展DenseNet心血管三维分割和DenseVoxNet提议。他们的网络实现最好的骰子得分为0.931±0.011。陈等人。19)提出了关键VoxResNet脑组织分割先生在3 d图像。有效深层网络有限的训练数据训练,他们无缝集成多峰性和多层次的上下文信息网络,这有助于利用不同形式的补充信息和利用不同尺度的特点。

3所示。方法

提出在本节中,我们介绍了3 d的端到端体系结构与3 d空间SE模块和3 d高斯半规管分割模块。

3.1。提出的网络体系结构

我们建议网络是基于3 d U-Net体系结构广泛应用于医学图像分析。3 d U-Net架构由一个编码器和解码器,并分别提取底层特征和高层特征。编码器提取特征的一系列卷积和max-pooling层,而译码器恢复图像分辨率的反褶积层。然而,编码器路径的功能水平远低于那些在译码器路径,这不利于足以充分利用多尺度和多层次特征,只需使用跳过连接连接特征图从不同的路径。因此,我们分别介绍一下两个关注模块强调有意义的特性以及空间和通道轴。3 d空间SE (25)模块和3 d高斯(26]模块使用的空间注意模块和通道注意模块,分别,他们提供指导为CNN专注于目标,而不是有效的背景。

网络如图2。编码器路径由四层,前三的包含两个卷积操作(内核:3,3,3,大步:(1 1 1)渠道:32岁,64年,128年)每一个紧随其后的是一批标准化和纠正线性单元(ReLU)。max-pooling操作(内核:[2 2 2],大步:[2 2 2])受聘在每层之间。我们引入3 d空间SE模块结束时每一层空间校准的特性和得到的四个特征图l1,l2,l3,l4在图2。在译码器阶段,低级和高级特性的地图从相邻层融合了3 d高斯模块,和级联3 d高斯模块同时恢复图像大小。


图2
提出了网络的体系结构。网络结构分为两个部分:编码器和译码器。编码器和解码器,我们使用3 d空间挤压和励磁模块和3 d全球关注upsample模块替换原来的跳过连接中使用3 d U-Net。在每个功能块代表频道数量,功能块的大小用不同的颜色标记在底部,C×D×H× 格式,C,D,H, 代表了通道、深度、高度和宽度,分别。
3.2。3 d空间SE模块

紧缩和激励(SE)注意块(40]介绍了提高分割的准确性,只有让channelwise兴奋。空间SE注意块设计基于SE注意块,沿着通道“挤压”和“激发”空间25]。考虑到低级特征的pixelwise空间信息更丰富,我们扩展空间SE模块3 d和介绍编码器。3 d空间SE块如图3。我们考虑输入功能图如下: 在哪里 , , , ,和 。 代表了通道的位置。 , ,和 代表图像中的空间位置。由3 d卷积(内核:3,3,3,大步:(1 1 1)渠道:1)conv3d与输出通道的空间挤压操作实现,生成一个投影张量 。这个投影张量通过乙状结肠操作 重新调节激活[0,1],用于激发 空间由spatial-wise乘法操作。定义可以制定如下:


图3
3 d空间SE模块。

空间关注模块告诉集中的地方,在一个特定的位置和特性是通过聚合特性在所有位置更新。这种调整有助于网络更专注于相关的空间信息和忽略不相关的。

3.3。3 d全球关注Upsample模块

我们的频道注意模块是灵感来自金字塔注意网络(26),2 d高斯模块用于合并两个特征图属于相邻层和建立一个高级和低级特征之间的联系。减少类别信息迷失在低级特性和降低噪声和无关紧要的反应,我们适应二维高斯模块三维高斯模块译码器阶段,低层特征和高层特征相结合的图像恢复。

3 d高斯模块如图4。低级功能是由高层特征加权选择精确解析细节自高级功能丰富的类别信息。高级路径,3 d全球平均池操作提取类别中包含的信息渠道,生成的权重 。然后权重 被视为注意重量的高级特性,将乘以低级特征吗F1后卷积(内核:(1 1 1)大步:(1 1 1)渠道:Cl批规范化和ReLU非线性操作,生成F3。高级功能图F2是upsampledF4。这upsampling过程是通过一个3 d转置卷积(内核:(1,4,4),大步:[1、2、2],通道:Cl)和一批标准化。最后,F3和F4将element-wisely相加,产生最终的输出F5。


图4
3 d全球关注upsample模块。
3.4。注意模块的安排

通道注意机制和空间注意的作用机制是互补的。这两种类型的注意机制通常结合使用(41]。我们最初表现以聪明元素求和输出的3 d空间SE模块和3 d高斯模块(结构如图5(一个))。通过这种方式,两个模块放置在一个平行的方式,但实验结果不太有效。灵感来自CBAM [42顺序],我们尝试的方法级联两个关注模块(数据5 (b)和5 (c))。发现顺序安排给一个更好的结果比类似的方式安排。实验结果表明,空间一阶略优于通道一阶。在低级别的功能,3 d空间SE模块提高了网络的特性的表达能力,进一步指导和修改和输出特性通过3 d高斯channelwise高级功能模块。通过这种方式,详细信息如半规管的边界可以更准确地捕获。详细的实验结果的不同安排的关注模块部分所示5。2。

(一)
(一)
(b)
(b)
(c)
(c)
图5
注意模块的三个不同的安排。(一)空间和通道以类似方式的关注。(b)空间顺序的一阶。(c)通道顺序的一阶。
3.5。损失函数

在训练阶段,我们使用骰子相似系数(DSC)损失函数约束网络。DSC损失函数所示 在哪里 和 分别代表预测值和地面真理 是像素点的数量; 和 表示的体素的数量 体素在预测数据和地面真理,分别。

3.6。器具的细节

我们建议网络使用Pytorch包实现。由于其效率,所有的培训和实验运行在一个标准工作站配备16 GB的内存,一个英特尔(R)的核心(TM) i5 - 10400 f在2.9 GHz CPU的工作,和一个单一的NVIDIA GPU RTX2060S 8 GB内存。原始CT图像的大小为512×512×64。由于GPU内存的限制,我们不得不作物卷成小补丁作为网络的输入。以确保足够数量的正样本,我们随机作物体积为64×64×32同时确保裁剪卷包含一个半规管的一部分。批处理大小设置为8;优化器亚当是用来训练收敛速度。减少过度拟合,我们应用一个重量衰变的0.0005和0.97的动力。学习速度设置为1×e−4,骰子损失损失函数。验证培训过程监控的准确性。

3.7。推理

由于内存限制,我们作物补丁的大小64×64×32作为网络的输入。评估模型的性能,验证集或测试集的每个卷顺序裁剪和评估来预测整个图像。如图6,我们使用28个像素作为滑动步长X- - -Y设在在步长设置为8Z设在。每个幻灯片后卷的剪裁和评估。由于滑动,有重叠的地方压将反复评估,和特定的体素的重复评价结果将被添加。我们用一个矩阵来记录的次数每体素在滑动过程中评估。最终的评价结果除以平均这个矩阵得到评价结果。乙状结肠函数处理后,采用阈值法来获取关键的预测结果。


图6
推理方法。功能块的大小为512×512×64代表了原始图像;小块的大小为64×64×32代表输入网络的功能块进行评估。B, C和D,分别代表了滑模在X, Y,和z轴方向,和滑动的步骤是28日,28日和8位。

4所示。实验结果和数据集

4.1。数据集

我们收集39例生半规管CT图像,由临床经验丰富的医生voxel-level人工注释。的年龄和性别分布数据集样本如图7。病人的私人信息是加密的。每个原始半规管CT图像的大小为512×512×64像素点间距的CT卷在X, Y, Z方向是1毫米。手动带注释的CT图像用于训练和客观测试我们分割网络。在39带注释的情况下,26例用作训练集和7例作为验证集,另6例作为测试集。一些CT片如图8。左栏的三个图片分别代表了37,第39,和原始片的进球数,而三个图片正确的列对应的地面真理(半规管的地区已被标记为蓝色)。中间的两个放大图像代表原始图像的放大和相应的地面实况的第39次切片。


图7
的年龄和性别分布数据集样本。横坐标的数字代表年龄区间;纵坐标上的数字显示相应的人数。在橙色和男性女性明显标记为蓝色。

图8
数据集的CT片。(一个1),(2),(一个3第39)代表了37,第41片样品在我们的数据集。(b1),(b)2)和(b3)是相应的标签;半规管的地区位于用蓝色标记。(一个2”)和(b2的(一个)是放大图片2)和(b)2)。
4.2。评价指标

我们使用骰子相似系数(DSC[%]),平均(AVD (mm)),豪斯多夫距离和平均对称表面距离(ASD (mm))来评估我们的方法。P和 ,分别代表了预测值和地面真理在下面描述。

DSC值表示之间的重叠压预测结果和地面真理。和它的数学定义中所示 在哪里 表示标记的像素点的数量。DSC的价值越大,程度越高的重叠分割预测和地面真理。

豪斯多夫距离(HD)也是一个评价指标,它经常用于图像分割。一般的豪斯多夫距离(AVD)是豪斯多夫距离平均所有点,这是比高清更稳定和较不敏感。其定义可以制定 在哪里 是平均是由豪斯多夫距离吗 在哪里N体素的数量吗P。

自闭症是一种基于度量测量平均表面对称的两个三维对象的位置之间的距离,这是R,欧几里得距离最近的表面体素从地面真理 计算,反之亦然。让年代(R)表示表面体素的集合R;最短的距离的任意体素 来年代(R)被定义为 在哪里 表示欧氏距离。在此基础上,ASD可以定义如下: ASD值越小越好。

4.3。实验结果

我们评估模型的测试数据集包含6个样品,结果如表所示1。可以看出,我们的网络有良好的性能测试数据集。大多数样品达到一个骰子系数超过90%。然而,示例4的分割结果并不理想。事实上,在样例4中,上半规管的一部分离开半规管不分段的预测。具体分析讨论部分5。4。

表1
网络的评价结果。

可视化结果如图9。地面实况图像在左边,右边的预测图像。地面真理和预测对应相同的半规管,分别标注 和 。为方便演示,我们只显示每一对半圆形的运河之一。


图9
测试数据集的分割结果。 代表的地面实况6样品在测试集,P 1,P 2、…P 6相应的预测。所有的半规管是正确的半规管。

5。讨论

烧蚀实验进行评估的有效性3 d空间SE模块和3 d高斯模块提出了网络。我们第一次添加3 d空间SE模块和3 d高斯模块3 d U-Net分别验证的有效性,然后使用它们同时验证两者的结合可以使网络表现的更好。在5.2中,我们比较三种不同的通道和空间上的排列方式关注子和讨论为什么我们选择空间一阶顺序安排。为进一步比较,我们的火车模型使用其他先进的深度学习架构培训设置相同的数据集。实验结果表明,我们的方法达到更好的性能。

5.1。烧蚀实验

烧蚀实验结果如表所示2。著名的3 d U-Net作为基准。我们的解码器阶段3 d U-Net换成3 d高斯模块,和我们称之为3 d高斯U-Net。我们介绍了3 d空间SE模块每一层的编码器,并命名为3 d U-Net东南偏南。最后,我们同时引入3 d高斯模块和3 d空间SE模块3 d U-Net作为我们的网络。实验结果表明,我们建议的网络具有最好的性能。

表2
烧蚀实验的结果。

比较的分割性能3 d U-Net和3 d高斯U-Net,我们发现,当3 d高斯模块,介绍了DSC值从91.6%增加到91.9%,AVD价值下降0.301毫米,ASD值下降1.30毫米。这个结果证明了3 d高斯模块能够提高分割精度。

捕捉空间位置特征图谱的编码器之间的依赖关系,我们添加3 d空间SE注意模块的网络,这个操作是被证明是有益的对我们的分割任务。根据表2,3 d的DSC价值sSE U-Net增加约0.6%的3 d U-Net和AVD和ASD值降低0.822毫米和3.44毫米,分别。上述结果表明3 d空间SE关注模块有助于扩大接受域和带来利益分割的结果。

我们把3 d高斯模块3 d空间SE关注模块和发现这个组合可以达到最好的结果:DSC值增加到92.5%;AVD和ASD达到0.217毫米和0.639毫米,分别。这个实验证明了改进的有效性。

我们使用这个盒子图计算的分布的分割结果6测试数据用不同的方法。图10表明我们的方法达到较高意味着DSC值,变化是在可接受的范围之内的。我们的方法结果的AVD和ASD值较低的小变化。3 d sSE U-Net与3 d空间SE模块性能的竞争对我们的网络,但是我们的网络结合了空间和通道的注意机制的优点,不仅提高了平均分割精度,还降低了方差,使模型更加健壮。

(一)
(一)
(b)
(b)
(c)
(c)
图10
烧蚀实验统计箱图的半规管的测试数据集。(a)的DSC结果四个方法。(b)的AVD四种方法的结果。(c)的ASD结果四个方法。盒子代表之间的隔间上四分位数和下四分位数数据分布间隔。绿色的三角形,黑色的加号,橙色线表示的意思是,离群值,中位数,分别。
5.2。结合通道和空间注意模块的方法

在这个实验中,我们比较三种不同的方式安排空间的关注模块和频道关注模块:频道一阶顺序安排,空间一阶顺序安排,两注意模块和并行使用。表3总结了实验结果在不同注意安排方法。

表3
注意模块的不同安排的结果。

如表所示3注意,安排模块以顺序的方式实现更好的性能比在并行的方式。从理论上讲,有一个巨大区别的输出通道注意模块和空间注意模块;因此以类似方式安排模式的简单直接的总和两个输出功能将混合不同的信息和对培训过程产生不利影响。根据实验结果,空间略优于通道一阶一阶,我们采用更好的方法。

5.3。比较与其他网络

在本节中,提出的网络体系结构和几个比较先进的deep-learning-based架构。我们执行V-Net (21],剩余对称U-Net [22],DenseVoxNet [23],VoxResNet [19)与同样的训练数据集设置方法。实验结果如表所示4。骰子V-Net系数为86.3%,这在网络中是最低的。剩余对称U-Net达到91.7%的骰子点数接近我们的结果,但AVD和ASD的结果更糟。DenseVoxNet VoxResNet,分别达到88.3%和89.4%骰子系数,和两个网络在大器官表现良好,而他们不太有效的小器官的任务。这表明我们的网络达到最先进的性能在任务。

表4
比较的结果与其他网络。
5.4。局限性和未来的工作

尽管我们的网络可以实现良好的分割结果在大多数样品,样品4的骰子系数表1小于90%,这远不能令人满意。图(11日)是左和图吗11 (b)是正确的样品4的半规管。它显示在图(11日)这上半规管半规管是完全失踪的一部分。在其他地方,也有一些地面实况和预测之间的区别。有几个原因可以解释这一。我们的网络被训练在训练队列和一个年龄从17岁到70岁。然而,在测试数据集,示例4是一个九岁的孩子,是谁的半规管约30%小于其他成人样本;因此很难段样本4 CNN相同的设置。上半规管的直径小于8像素在图像。经过三次的池,将采样的8倍,其信息合并的背景。由于这些信息的损失,网络不能恢复的形状在解码器上半规管阶段。半规管的另一个可能的原因是,孩子们还没有完全发展,所以他们的形态区别成年人可能导致一些细节的准确分割。 Nevertheless, our network has better segmentation performance on sample 4 than other state-of-the-art networks, the results of sample 4 are listed in Table5;这表明我们的网络分割骰子系数样本4是至少2.8%高于其他网络。

(一)
(一)
(b)
(b)
图11
地面实况的比较和预测样本4。(a)的左半规管示例4,( 左)是地面真理和(P 4左)是相应的预测。(b)正确的示例4,半规管( 右)是地面真理和(P 4右)是相应的预测。地面真理和预测之间的区别是红色圆圈标注。
表5
示例4的结果不同的网络。

在未来,我们将扩大我们的训练集收集数据从不同的年龄群体。同时,我们将设计一个额外的分支原始网络适应小样本大小,从而提高网络的鲁棒性和泛化。和我们建议的网络将被应用在其他细分任务在未来。

6。结论

本文提出了一种改进的3 d U-Net注意力机制,可以有效段半规管CT卷。网络使体积数据信息的广泛使用,改进了功能利用率,并降低损失的信息替换3 d U-Net跳过连接的空间和通道空间一阶的方式关注模块。提出了CNN网络的性能达到了平均92.5%的DSC,平均AVD的0.217毫米,平均ASD测试集上的0.639毫米。实验结果表明,该方法比一些先进的方法达到更好的结果。半规管的准确分割有助于促进人工intelligence-assisted耳部疾病的诊断,减少内耳手术规划和定制的耳石病的治疗。

数据可用性

训练数据和测试数据用于支持本研究的发现是由广州医科大学第一附属医院在许可证,所以不能免费提供。请求访问这些数据应该晓文教授张(电子邮件保护)。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者想表达他们的感谢你们唐代教授和MOEMIL实验室工作人员的专业指导这个项目。与此同时,他们感谢温州人民医院医生Xiaokai杨为他们提供专业的医学知识。这项研究部分是由基础研究基金支持中央大学(中国电子科技大学)(没有。ZYGX2019J053),中国国家自然科学基金(61905036)、中国博士后科学基金会(2019 m663465),广东省和国家自然科学基金(2016 a020220019)。