文摘

传统的图像分割方法的分割精度低,经常遇到问题耗费时间在处理复杂牙计算机断层扫描(CT)图像。本文提出了一种改进的牙齿CT图像的分割方法。首先,U-Net网络是用于构造一颗牙齿图像分割模型。大量的特征图谱将采样的补充将采样,以减少信息损失。与此同时,图像分割和定位不准确的问题是解决了。然后,注意模块引入U-Net网络增加重量的重要信息,提高网络分割的准确性。其中,次区域平均池是用来代替全球平均池获得空间特性。最后,U-Net网络结合改进的关注模块用来实现牙CT图像的分割。和基于图像收集华西医院提供的演示实验,与其他算法相比,我们的方法具有更好的分类性能和效率。牙齿得到更清晰的轮廓,这有助于帮助医生诊断。

1。介绍

近年来,深度学习发展迅速,已经被应用于许多领域的图像处理1]。其中,图像分割是一个关键的主题在现代计算机视觉研究2]。图像分割在医学领域的影响受到越来越多的关注。无论是病理分析、诊断和治疗或临床手术导航、图像分割可以更好的辅助治疗效果。它可以快速识别损伤,降低医疗成本3]。传统的图像分割是手工完成的,一层一层地由经验丰富的医生,这需要很长时间。这些区域的分割结果的兴趣(RoI)有很大的不同在不同的医生(4]。CT图像的自动分割可以显著减少医生的工作量和提高RoI分割的准确性和一致性5]。目前,现代医学CT主要包括多个螺旋CT和锥束CT (CBCT)。CBCT更常用牙科,扫描时间短的特点和低辐射剂量(6]。因为骨头的牙齿与一些软组织,密切交织在一起的CT扫描图像的牙齿将会变得非常模糊。还有牙齿之间的灰度值分布的差异。也可能有不同的灰度值相同的牙齿,拓扑结构更复杂,不容易区分(7]。因此,准确和有效的医学图像分割算法是必要的。

图像分割目前没有一个统一的通用算法。大多数算法是针对特定类型的对象,寻找他们的特征点构造特定的能量函数来实现分割(8,9]。在医学CT图像分割,传统的基于模板的分割方法已逐渐成为一个常见的RoI方法描述在放射治疗(10]。Kaur et al。11)CT图像分割技术提出了一种基于空间直觉模糊的混合物 - - - - - -意味着集群和空间正则化水平集方法。它可以集成空间图像的细节和准确有效地提取肾病图像的CT图像。李等人。12)提出了一种新的有效性指数评估数据集的紧张和分离后两次。验证了该指标的有效性使用大量的合成数据集和一些典型的CT图像。这个指标适用于数据集的任意形状的簇,容易受到噪声腐败。它有利于集群分析和计算机辅助检测系统。施等。13)提出了一种改进的势阱函数结合齿的水平集模型分割。提高分割速度和准确度。霁et al。14齿形)提出了水平集方法提取从头CBCT图像,实现了高精度。

然而,由于人体器官的解剖学变化频繁,传统方法很难建立一个通用模板基于固定的图像。此外,即使相同的投资回报率可能有很大差异是因为病人的大小和年龄的差异(15]。近年来,深学习方法已经广泛使用。例如,堆放autoencoder、深层信念网络(DBN),递归神经网络(RNN)和卷积神经网络(CNN)在相关领域都已经被广泛地研究过了16,17]。太阳(18]提出了Darknet-53网络提取牙齿图像特性和多尺度预测。SE模块添加到网络,提高网络性能。李等人。19)提出了一个CNN-based立体图像分割框架。使用一致的视差传播解决不可避免的不准确问题计算视差的立体图像对。然后,像素通过连贯的视差和传播目标的高信任度像素概率地图生成的CNN架构将用于生成初始可靠像素执行分割基于能量最小化框架。CNN自动提取多级视觉特性通过学习大量的输入和输出之间的映射关系(20.]。周et al。21)提出了一种基于3 d U-Net三级网络段一个牙齿。但是牙槽骨和牙齿之间的关系是非常重要的,当牙齿矫正医师做矫正患者的计划。Kadry et al。22)使用pretrained VGG-UNet系统从大脑中提取ISL碎片MRI片测试图像和提取COVID-19感染肺部CT图像。通等。23]提出的扩展版本U-Net,它使用的概念三注意段皮肤损伤的机制。分割结果更准确的对于复杂的皮肤损伤,如形状,大小,颜色和质地。但算法更加复杂和耗时。Zhang et al。24)提出了一个三跨界U-Nets神经胶质瘤(TIU-Nets)分割。拟议中的TIU-Nets由二进制类分割U-Net (BU-Net)和多级细分U-Net (MU-Net),取得了更好的性能。牙CT图像相对简单的皮肤病变脑磁共振图像和图像。杨爱瑾et al。25]研究了CNN对牙科牙齿类型进行分类的应用CT图像,这有利于获得高分类精度不需要准确的牙齿分割。钟等。26)提出了一种神经网络为单像素标记段帧使用健壮的金属构件的实例。

与CNN相比,U-Net添加upsampling和将采样过程,生成的图像不同的决议,可变图像的各种决议(27]。为此,牙齿CT图像分割方法使用U-Net网络提出了。本文的主要贡献如下:(1)因为完全的分割效果卷积网络(FCN)相对粗糙,该方法使用U-Net网络图像分割。并通过数据增强,更可获得理想的牙齿CT图像分割结果(2)为了提高网络的分割速度和减少精度的损失,注意模块集成在U-Net网络和改善。分区域平均池(SAP)模块是用来获取初始权重信息通道,和CE模块用来扩大低级通道的注意

本文总共分为四个部分。部分1介绍了选题的研究意义和技术困难和分类现有的图像语义分割方法。在此基础上,总结了该方法的创新点。部分2阐述了提出方法,使用U-Net网络结合改进的关注模块部分牙CT图像。部分3讨论了实验结果,并使用相关的标准来评价该方法的性能。部分4是结论。

2。材料和方法

2.1。U-Net

U-Net是U-Net奥拉夫Ronneberger在2015年提出的网络结构。这是一个语义分割网络基于FCN,匹配的形式将采样upsampling过程中保持一致(28,29日]。在此基础上,大量的特征图谱将采样阶段添加到downsampling填写手术期间丢失的信息。因为它的结构是对称的u型一样,它被命名为U-Net网络。

U-Net在医学图像处理方面具有特别的优势。缺乏解决问题的示例图像在医学图像中,弹性变形是用来完成数据增强[30.]。弹性变形是一种相对常见的变形在实际的细胞,所以它非常适合医学图像处理31日]。增强数据的算法是用来使神经网络模型学习弹性变形的不变性。在一个小数据集的情况下,网络具有良好的弹性变形适应性。分割时可以正确地完成会议医学图像的弹性变形(32]。U-Net网络细胞分割,效果极佳,其分割效果如图1。

U-Net网络吸引了注意力从成立以来的医学领域。U-Net的基础上,许多学者已经改善了这个结构。例如,Milletari的三维变形结构V-Net和Drozdzal跳过结构的改变增加了许多变体U-Net网络。

2.2。注意模块

为了增加体重的有效功能,提高分割的准确性,我们添加了一个注意力机制模块网络(33]。人类的视觉注意机制分为数据驱动和该主页34]。本文使用数据驱动的注意机制模块。注意体重呈正相关的水平相应的位置信息的重要性。输入单元与高体重对输出结果有决定性的影响。首先,全球平均池(GAP)上执行的是每个通道得到的向量 。两个以上完全卷积(FC)层转换完成。乙状结肠和ReLU激活功能。提取网络如图2。

在关注模块中,首先使用差距缩小数据将采样的输出层 来 ,这是表示如下: 在哪里表示函数的差距。

在那之后,网络执行两个FC操作。代表了降维系数,可以根据特定的网络调整。时获得最佳的性能 演示实验;公式如下: 在哪里和分别代表乙状结肠和ReLU激活功能。是FC函数。

然后,执行规模经营。基于渠道的数量不变,改变的数据 ;计算如下: 在哪里是规模经营的功能。

在网络连接模块,注意一个输入图像与一批256和大小 ,向前传播需要42女士。在添加关注模块之后,47个女士。降低复杂性之后,还有时间增加,但它可以被忽略而细分精度的提高(35]。

因为分割任务场景通常是复杂多变的,使用差距太简单。所需的功能分割不能提取有效(36]。为了应对这个问题,SAP结构提出了。差距和SAP的结构如图所示3。

如图3,差距一个通道特性的维度 与大小的一个特性 。在SAP中,功能的大小 转换成一个新功能的大小 ,所以,一些空间信息被保留。然后,通过卷积核的大小 ,获得的功能大小的地图转换为特征 。关注的网络特征提取模块如图4。

首先增加渠道的数量和使用 卷积。因为 卷积层通常用于调整的数量之间的通道网络层和控制模型的复杂性,它使跨渠道互动和信息集成。同时,非线性特性可以大大增加,同时保持特性图的大小不变,使网络非常深。然后,添加高级和低级频道关注权重。最后,用新的权重高阶特征(37,38]。更新后的重量的尺寸范围是(0,2),这不仅可以减少但也扩展特性值(39]。

获得的信道特性连接一个 卷积和乙状结肠激活功能 , 。输出SAP模块

最后,定义了高阶SAP模块获得的注意分配。低级的注意力分布经过CE模块 。然后,它可以用于更新的注意分配 :

调整特征映射可以获得的

2.3。网络结构

注意模块集成到U-Net网络获取牙CT图像分割的网络模型。结构如图5。

使用3层 卷积层,改变普通 卷积,卷积扩张与膨胀率2,地图的分辨率输出功能是输入的1/16。深黑色的空间金字塔池(ASPP)是用于提供多尺度信息U-Net网络。即,基于空间金字塔池、一个洞卷积与添加不同的膨胀率,并通过SAP全球信息添加和图像特征。ASPP upsampled,输出的特性添加到低层次的功能,经历了一次 卷积,然后与一个合并 卷积。最后,它是upsampled和恢复原始图像的大小40]。

3所示。结果与讨论

实验是基于Keras框架,它是由谷歌开发的。它使用TensorFlow和Theano包集成许多基本的神经网络结构和一些成熟的算法。实验数据集使用牙齿CT华西医院提供的数据。操作系统是Windows, CPU是一个8 GB英特尔酷睿i7 - 6700, GPU是NVIDIA GTX 1070年通用电气力量。

当培训,优化方法采用随机梯度下降(SGD)。它的动量参数设置为0.9,体重衰变率 。学习速率使用最初的学习速率 乘以减少的策略。在哪里 , 当前的迭代次数,迭代的最大数量的培训过程。实验训练的迭代的数量是800。

3.1。数据预处理

基于分割的任务U-Net网络,最终的输出与输入图像的质量密切相关。针对牙CT图像的一些有相似的灰度值,形状或纹理图像增强方法用于预处理输入图像数据来提高图像对比度。直方图均衡化(他)是一个图像增强的基本方法。和自适应直方图均衡化(AHE)是通过他改进。AHE改善当地的对比,增强了图像的每个区域的边缘锐度,并提高了形状、纹理和边界信息的牙齿。在进入网络之前,归一化的图像灰度值(0,1),和图像大小 。

为了克服神经网络的过度拟合现象,该方法采用增强技术,如随机裁剪,翻转,形状和灰度扰动,扰动数据图像来克服这个问题。训练集的灰度扰动可以提高网络的稳定性,从而提高预测的性能设置网络。

CT图像和轮廓图像由仿射变换形成形状扰动变形。变形,3个顶点的坐标(左上,右上和左下)是第一个获得。然后,每个点随机移动,并随机运动图像的范围长度。最后,对整个图像进行仿射变换。

图像增强后,训练集(400张照片)和验证集的图像(100)都是扩大3倍。共有1500个图像数据获得实验训练和参数调整。

3.2。评价指标

在这项实验中,平均像素精度(MPA)和平均交叉在联盟(MIoU)作为指标来评价该方法的性能。

假设代表的数量正确的分割。代表的像素数量原本属于类但被分成类 。 代表的像素数量原本属于类但被分成类 。有 类别(包括类和一个空类或背景类)。

MPA计算像素的比例在每个类正确分割,然后找到所有类的平均值。计算如下:

MIoU计算比率两个集合的交集和工会。在每个像素计算像素交叉比率类别,然后,计算平均:

由于其代表性强,效率高,简单起见,MIoU已成为当前图像分割评价指标。因此,MIoU用作实验的主要评价指标。

3.3。比较的算法

根据该方法,最后牙齿CT图像分割结果。该方法的分割比较结果和传统U-Net网络如图6。

从图可以看出6该方法可以部分牙CT图像比传统U-Net网络更有效。牙边缘提取的效果明显优于U-Net。然而,受到一些噪声,有一定的阴影分割图像的中心。因此,U-Net网络前后的性能改进是定量分析。结果MPA MIoU和时间来完成细分表所示1。

从表可以看出1,该方法提高了U-Net网络通过使用注意机制。MPA是85.91%,和MIoU 83.73%,优于U-Net网络分割的准确性。然而,由于细分模式的复杂性,完成分割的时间也增加了。与U-Net网络相比,增加了28个女士。然而,从整体的角度来看,该方法仍有一个大型应用程序的优势在牙齿CT图像分割。

为了进一步证明该方法的性能,比较它与引用(13,18]和[21]。牙CT图像的分割结果获得的每个方法如图所示7。

从图可以看出7该方法得到的齿廓是清晰的,是最接近原始图像。图7 (b)采用传统的水平集分割方法结合模式13),分割效果并不好,轮廓是模糊的。数据7 (c)和7(d)学习算法用于分割(18,21),但一个算法需要改进在处理复杂的牙齿图像。因此,该方法的有效性牙CT图像的分割,可以证明。

不同方法的定量分析结果如表所示2。

从表可以看出2的分割方法的性能是最好的,与MPA的85.91%和MIoU 83.73%。它完成的检测速度126 ms,但模型是更复杂的比文献[13),所以时间有点长。传统的方法在文献[13)对复杂牙齿CT图像分割精度较低,与MIoU仅为68.05%。但是需要最短的时间内完成检测,这是74 ms。文献[18)选择Darknet-53网络提取牙齿图像特性和多尺度预测。总的来说,它有良好的分类性能,但该算法不是有效的在学习复杂的特性,和分割精度需要改善。文献[21)分段牙齿基于3 d U-Net的三级网络。但模型更复杂,所以需要很长时间,183 ms。从综合的角度来看,该方法具有明显的应用优势的牙齿CT图像分割。

4所示。结论

随着当今社会的发展,医疗水平在人们的生活中已经提出了更高的要求。有许多代表计算智能算法,如帝王蝶优化(MBO) [41),蚯蚓优化算法(EWA) [42),大象放牧优化(EHO) (43),和蛾搜索(MS)算法(44,45]。数量不断增加的CT图像和MRI图像、医学图像的分割单靠人力无法满足需求。因此,使用深度学习的自动分割吸引了学者们的广泛关注。我们提出一个牙齿CT图像分割方法使用U-Net网络。注意模块集成到U-Net网络,和SAP和CE模块用于提高网络的性能。基于牙CT图像数据集由华西医院,提供改进的网络实验得到验证。综合比较,本文方法具有更好的分割性能和分割效率。牙齿得到更清晰的轮廓,这有助于帮助医生诊断。该方法只执行分割对牙齿没有用于分割图像和其他的医学图像。在接下来的研究中,该方法将被应用到其他组织,提高该方法的泛化能力。 And in-depth pruning of the network is carried out to improve network efficiency.

数据可用性

本文中包含的数据是可用的,没有任何限制。

的利益冲突

作者宣称没有利益冲突,关于这篇文章的出版。

确认

这项工作得到了安徽省自然科学(没有关键的基础。KJ2018A0484)。