文摘
针对的问题无关紧要的目标形态学特征,准确检测和不清楚小目标的边界地区,在多目标和多目标边界重叠复杂的图像分割,生成的图像分割机制对抗网络结合非局部的功能增强方法的关注,生成敌对的网络融合的注意机制(AM-GAN)提出。生成网络模型中由残余网络和外地关注模块,使用剩余网络的特征提取和多尺度融合机制,以及功能增强和全局信息融合能力的非局部空间信道双重关注提高目标特性的检测区域,提高分割边界的连续性和清晰。敌对的网络是由完全卷积网络,惩罚的损失小目标地区的信息判断预测的真实性和标签生成的分割和提高检测能力敌对的小目标模型和多目标分割的准确性。AM-GAN可以使用氮化镓的内在机制,重建和修复高分辨率图像,以及外地的能力全球接受域加强细节的关注功能,自动学会关注目标结构不同的形状和大小,突出特征用于特定任务,减少损失图像的细节特征,改善小目标检测的准确性,优化多目标的分割边界。以医学核磁共振腹部图像分割为验证实验中,多目标,如肝、左/右肾,脾是选择分割和异常组织检测。在小样本不平衡数据集的情况下,类像素的精度达到87.37%,十字路口在联盟是92.42%,平均骰子系数是93%。与其他方法相比,在这个实验中,分割精度和准确性大大提高。结果表明,该方法具有良好的适用性等解决典型的多目标图像分割问题小目标特征检测边界重叠,和抵消变形。
1。介绍
多目标图像分割是图像处理领域的热点和人工智能。从本质上讲,它可以表示为像素分类和语义标签的目标,也就是说,分割和描述图像中感兴趣的目标通过使用一组对象类别分类和标记图像在像素级(1,2]。图像分析理论的不断发展和深入学习技术,研究者已经提出了很多有效的多目标图像分割模型和算法(3- - - - - -5]。然而,在一些复杂的场景,图像受噪声影响,抵消变形,灰度值失真,局部位置效应,和其他因素,因此,现有的方法仍然有问题,如目标遗漏,位置偏移,边界不清楚,等等6,7]。与此同时,一些打分割图像分割方法有很好的结果,但仍不适用于复杂的多目标图像分割。尤其是在多实例,小型目标的准确检测和分割精度很难保证(8,9]。仍有挑战的研究图像目标检测和分割。
目前,图像分割可分为两类:传统的方法和深度学习方法。传统的图像分割算法大多使用灰度特性段图像(10]。典型的方法包括基于阈值的方法(11],edge-based方法[12],提出的方法(13]。然而,有问题,如易受图像灰特性的对比,可怜的低分辨率和模糊图像的分割,容易oversegmentation图像。一般来说,传统的图像分割方法是极大地受到主观因素的影响,和预处理过程是复杂的。例如,需要一个强有力的先验知识来解决问题,如种子点的选择在市场细分和选择的阈值分割边界。与此同时,小错误关键参数的选择对分类精度的影响更大。这些问题使传统的图像分割算法仍然有很多限制,当应用到图像语义分割。
深卷积网络是一种有效的图像特征提取和分析方法,已被广泛应用于图像分类、图像生成,目标检测。出现了许多优秀的算法,比如AlexNet [14],ResNet [15),快R-CNN [16),等等。虽然深卷积网络强大的特征提取功能,他们仍有许多限制,当应用到图像分割问题。多目标分割医学图像作为一个例子。医学图像直观地反映了2 d和3 d形态特征的人体器官和组织在特定领域的。人体有一个相对复杂的器官和组织结构,不同人体的解剖结构也不同的个体。同时,很容易受到噪声等因素的影响,照明,和当地的姿势效果,和图像的形状和各种器官组织地区软边界,显示规则还是不规则的动态周期与心脏收缩或放松。这些因素增加医学图像功能分化的难度,目标检测和分割(17,18]。此外,池层卷积神经网络(CNN)将downsample输入图像大小和降低图像的分辨率;完全连接层将图像特征向量,破坏图像的空间信息。因此,它仍有不足在解决复杂的图像分割的问题。虽然这些途径方法取得了一定的分割结果,他们忽视医学图像的空间相关性,比如CT和MRI,很容易产生非光滑和不连续的分割结果19]。
为了解决的结构和信息处理机制的局限性传统卷积神经网络在图像分割问题,长et al。20.)提出了完全卷积网络(FCN)模型。FCN放弃完全连接层的CNN和取代它与完全卷积结构。同时,它使用反褶积算子来恢复图像大小和引入了shortcut-connection结构融合网络的高层特征与低级特性优化分割的结果。目前,大多数的深度学习模型用于图像分割是基于FCN模型的想法。Ronneberger et al。21)提出了U-Net模型,它保留了卷积和反褶积FCN的结构模型,但是高级特性的融合方式的变化映射和低级特征映射。U-Net的编码和解码部分是完全对称的,并通过通道连接,然后连接实现卷积。目前,有许多变体U-Net模型,如3 d U-Net [22],Res U-Net [23],窝点U-Net [24],和关注U-Net [25]。此外,SegNet Badrinarayanan等提出的模型。26)取代了反褶积的FCN将收集的方法,这使得upsampling部分不再参与培训,同时保证分割精度,减少了计算复杂度。上面的方法和机制有效地解决图像分割的原理和策略问题,但是在复杂的图像分割与噪音和内容的多样性,仍有不稳定的分割问题影响低分辨率和模糊图像和低精度的目标像素分类(27]。
在低分辨率的高清图像处理的研究,Zhang et al。28)(2021年)建立层次相关性过滤器模型基于多级卷积特性,可以抑制干扰的背景和相似的对象。陈等人。29日)(2021)提出了一个图像超分辨率重建方法使用注意机制与特征映射。它使用信息提取功能块图的注意机制,自适应地调整信道特征,提高特征的表达能力,促进从原始低分辨率图像多尺度超分辨率图像重建。图像修复,陈等人。30.)(2021)提出了一个新颖的基于编码器的图像嵌入算法和相似性约束,有效地解决了这个问题的联合上下文感知损失图像修复和改进了利用特性。上述工作提供良好的支持好复杂图像的分割。然而,该方法仍将受到明显的模糊,以及培训所需的时间也会更长。然后,陈等人。31日)(2021)提出了图像完成算法的基础上改进的全变差最小化的方法,它可以解决失配问题和结构断开exemplar-based图像修复。
格拉汉姆·古德费勒提出的生成对抗网络(GAN) et al。(2014)32)是一种深度学习方法基于博弈论中纳什均衡,包括两个部分:发电机和鉴频器。GAN模型生成器,该生成器网络模型,主要用于生成目标数据。典型的发电机结构神经网络反褶积的基础上,恢复输入图像大小通过多个反褶积层upsampling最后获得生成的图像数据。在图像分割中,发电机本质上是一个分割模型。例如,FCN [20.],U-Net [21],SegNet [26)可以选择生成网络,它接收输入的原始图像和预测分割作为输出。鉴频器,也就是说,在GAN对抗的网络,通常使用cnn作为基本模型。它的输入包括真实的数据和生成器生成的数据。生成的数据判断是错误的,和真实的数据判断是真实的。通过真实性判断,游戏进行学习优化生成器生成数据的能力。在机制中,氮化镓可以重建低分辨率图像超分辨率高清图片(33)和基于周围的像素训练生成模型缺失的部分图像修复完整的图像(34]。如果应用到图像分割问题在模糊的情况下,抵消,和小目标,它可以有效地提高图像分割的质量和准确性。注意机制是一个目标特性增强方法目前被广泛研究和应用。它可以用作一个模块的深度学习模型关注感兴趣的对象(35,36]。然而,大多数现有的方法主要集中在本地目标区域的像素和相关性较低的图像内容有一个很大的接受域(37]。为了捕获图像中的空间远距离信息的依赖,王et al。38)提出了一个外地的注意机制,即特征响应的策略在一个像素的值等于特征值的加权平均接受域点,也就是说,所有点更大的接受域连接,实现全球信息融合。外地的注意机制连接全球的语义内容的理解当地的目标,使目标像素分类的启蒙运动和限制。在复杂,进一步研究多目标分割图像,如果GAN结合非局部的图像分割机制的关注特性增强方法,它可以有效地改善的准确性,进一步研究多目标分割和优化复杂图像分割边界的机制。
针对穷人的准确性的目标实例在复杂图像分割和小规模的目标分割,生成敌对的网络融合与外地注意力机制提出了。氮化镓生成网络模块的使用剩余网络的基本模型初步目标分割。外地的空间信道dual-attention机制是地图添加到输出特性的残余网络捕捉长距离依赖信息的输出特性上的每个特征点地图。敌对的网络模块构建基于cnn,这执行屏蔽操作与预测原始图像分割和标签分割,分别输入掩蔽的结果到敌对的网络。对抗网络法官的面具结果预测细分为false,面具标签分割的结果是认为是真实的。和生成网络法官面具预测分割的结果是真实的。通过游戏学习生成网络和敌对的网络,生成网络优化的图像分割能力。具体来说,首先,生成网络模块构建基于残余网络和外地的注意机制初步的图像分割。在此基础上,对原始图像的预测和屏蔽操作标签分割,分别执行,结果输入到敌对的网络优化分割的结果。AM-GAN加强多尺度特征的提取和融合,以及每个实例的区分能力边界像素,实现多目标实例的细分割区域复杂的形象和提高小目标分割的准确性。
由于医学图像往往是模糊成像环境的影响和检测设备。与此同时,人体器官和组织结构的复杂性,不同的个体解剖结构的差异,也和当地的姿势的影响效应增加医学图像功能分化和分割的难度。本文以腹部MRI图像的分割为验证实验中,多目标组织如肝脏、左/右肾,脾是选择分割和异常检测来验证模型和算法的有效性。
摘要图像分割中存在的问题,如无关紧要的目标图像的形态特征,容易受到噪声的影响,灰度值失真和地方位置效应,不清楚目标区域的边界,进行了研究。的主要动机是建立一种新的图像分割模型,它可以改善机制的复杂图像精细分割的准确性。
本文的新颖和主要贡献如下:(1)小说生成对抗网络融合机制的关注(AM-GAN)多目标图像分割模型。机制,氮化镓的图像分割机制有机结合非局部的功能增强方法关注的模型和算法可以自动学会关注目标结构有不同的形状和大小,强调特定任务的功能效用。它可以有效改善现有的图像分割方法的问题,如充分利用图像像素点之间的关联信息,精确检测小目标区域,边界不清楚,和重叠的多目标边界,有效改善复杂图像目标分割的准确性。(2)AM-GAN的生成模块结合了非局部的功能增强关注残余网络的特征融合方法。在生成网络全球内容的理解与当地目标的语义和低级和高级特性映射添加到shortcut-connection融合结构来实现功能。在机制,它可以发挥指导和启发式的目标分割和细化分割结果。(3)本文提出了AM-GAN作为多目标图像分割模型。在机制,它可以使用氮化镓的高清处理和修复能力降低噪声的影响,偏见变形,灰度值失真。通过协会和限制外地关注大型的信息接受域本地目标,目标分割的连续性。同时,纳什博弈策略生成网络和对抗的网络之间采用AM-GAN算法优化分割结果和改善连续性,平滑度和多目标分割结果的准确性。
节1,当前的挑战和复杂的多目标图像分割的研究现状进行了综述和分析。小说的思想和算法策略AM-GAN指出本文建立细分模型。节2,AM-GAN模型建立及其理论特性进行了分析。节3AM-GAN的综合学习算法设计和建议。节4、多目标分割的实验和结果分析进行基于医学图像。最后,总结了论文的工作,指出优点和局限性。
2。生成对抗网络融合Dual-Attention机制分割模型
2.1。生成对抗网络基本模型
生成对抗网络(GAN)基本模型本文包括两个部分:发电机和鉴频器。的基本结构和信息处理流程如图1。
在图1甘,生成网络模块主要是用于生成目标数据。典型的生成网络一般通常是基于反褶积的神经网络,如FCN U-Net, SegNet,恢复通过采样输入图像的大小在多个反褶积层,最后获得生成的图像数据。对于图像分割,生成网络作为图像分割模型,它接收输入的原始图像和预测分割作为输出。在GAN对抗网络通常采用卷积神经网络。它的输入包括真实的数据和数据生成器生成的。通过真实性的判断和游戏学习与发电机,发电机的能力来生成数据优化。
输入图像的灰度值生成网络记录为随机变量 ,它遵循将分布 ,和噪声数据服从均匀分布。发电机噪声地图数据来 ,和图像的真实性歧视概率随机变量是 。
在学习GAN优化,根据生成模型最大化的原则和歧视模型最小化 。目标函数定义如下:
2.2。外地的注意机制
外地的注意机制的核心思想是特征响应值在一个像素等于特征值的加权平均点,也就是说,所有点的接受域相连,和基于空间距离的像素之间的依赖关系建立,实现全球信息融合。计算公式(38)是 在哪里代表输出位置指数,代表输入的任何位置,代表输入,代表输出相同的大小 , 是像素之间的相似性度量函数,表示特性的映射 ,和是归一化的因素。和在很多方面可以实现。如果是一个高斯函数,其表达式
在方程(3)代表两个向量矩阵相乘后放大指数的差异,和方程(4归一化函数的数学表达式 。
考虑一个扩展形式的方程(3)。首先,向量嵌入空间映射,即两个向量映射到不同的功能空间,然后,高斯函数是用来测量相似。具体形式是
向量的点积函数可以表示为
现在,归一化函数等于 ,和职位的数量吗 。
基于配对函数形式在关系网络提出的澳网et al。39),这个函数可以表示为一个级联的形式: [,]代表级联,在哪里代表项目级联向量的权向量的标量。
外地的注意机制集成到卷积神经网络形成一个通用外地块。该模块可以集成到任何神经网络结构。非局部块的定义如下: 在哪里注意模块的输出,的输出方程(2),的权重矩阵恢复输入通道的数量,然后呢是输入。
非局部块的结构如图2。
在图2,外地块首先对输入执行功能映射矩阵 与一个 卷积,即映射操作的功能 , ,和在(3)和(5),得到矩阵 , ,和 。然后,这个矩阵是变形和转置矩阵 ,和转换成一个矩阵 。 乘以,然后由Softmax获得归一化矩阵的相似性度量方法 。然后,用变形矩阵 从和矩阵获取特征响应矩阵 。最后,是畸形的,乘以卷积内核恢复原来的渠道。操作结果添加到输入矩阵 获得输出 ,和最终的输出特性映射功能映射与增强的全球信息的依赖。
2.3。剩余一代网络基于Dual-Attention机制
复杂图像的多目标分割,如果图像目标实例的数量很大,个别灰度值的差异很小,神经网络需要较强的特征提取能力,融合,和承认。本文使用剩余网络为主体的图像分割模型,卷积和shortcut-connection结构添加不同层,也就是说,上层网络的输入与输出直接叠加的网络元素级别越低,以减少损失的特征信息,实现功能融合不同的水平。通过这种方式,网络在深情况下仍能保持良好的收敛性能。剩余结构如图3。
目前,有许多古典残余网络模型,如ResNet18 ResNet34, ResNet50 [16]。在实践中,模型的选择主要是基于输入图像尺寸的要求,质量和分割精度。一般来说,更深层次的网络,具有较强的特征提取能力。本文选择ResNet50为基本模型根据小目标区域检测的问题复杂的多目标图像分割。基于ResNet50分割模型的结构如图4。
在图4分为六个部分,分割模型。(1) 卷积的步长2和输出图像通道的数量是64。(2)池操作与步长为2 滑动窗口瀑布三残块。每个残块包含三个卷积层。第一个和第三个 卷积来调整渠道的特征图的数量。第二个是 卷积的步长1。方程(3)(5)堆积残块。最后一个包括平均池与步长为1 滑动窗口,以及完全连接和Softmax分类。提取的输出从第二到第五部分模型,然后,upsample四个输出预测特征图分割。
在实践中,只有依靠剩余网络进行多目标图像分割将导致分割边界的模糊和小目标信息的损失,即剩余网络不能充分利用图像的特征信息来分割图像。本文基于剩余网络,一个外地的注意机制介绍构建dual-attention机制模型,可以整合空间和通道的注意。结构如图5。
在图5,空间注意模块用于外地机制加强特征图上的所有像素之间的依赖性,这是由一个类似的权重矩阵。在这个模块,输出特性的残余网络地图第一次经历 卷积获得三个特征图 , ,和 ,这有相同的宽度和高度为输入图像,但是渠道的数量减少了 最初的。在此基础上,是转置,乘以然后由Softmax归一化处理得到interpixel相似矩阵 。 乘以 ,和原始输入添加后获得特征映射空间功能优化。
引导注意力机制是用来捕捉任意两个通道之间的相互依存和更新一个频道的价值通过使用加权平均的通道。其实现步骤类似于空间注意模块。获得的特征图的空间注意模块和引导注意力模块添加和融合生成一个分割图像增强的注意机制。
在图5Softmax的数学表达式 在哪里代表了像素值列的特征映射 。这个公式规范化矩阵的相似性度量方法每一列的列,这样重量值区间内 。
外地的注意机制结合剩余网络模型构建在GAN发生器模块。结构如图6。
在图6、发电机模块接收图像数据输入和输入图像提取特征ResNet50网络基于dual-attention机制;四个各级输出特征图,表示 , , ,和 。的 , ,和特征图upsampled大小一样 ,然后,四个地图频道拼接和输出特性 执行卷积获得融合特征映射F。融合功能图F拼接了 , , ,和在通道级别,分别,然后输入self-attention机制模块后 卷积获得四个预测分割地图。他们补充说,融合和平均,最后,获得的图像多目标预测分区图。
2.4。基于卷积网络对抗的网络模型
在氮化镓,对抗网络模块惩罚失去细节和小型网络通过游戏学习的目标信息,使多目标图像分割生成网络更准确。本文对抗网络模块在GAN构造基于CNN,及其结构如图7。
在图7敌对的网络模型包括两个输入:一个是点积的图像分割标签和原始图像,另一个是点积的形象生成网络和原始图像。原始图像上的点积运算是一个面具操作获得标签和预测的面积分割原始图像。对抗网络上执行特征提取获得的检测区域,区分是否输入是一个真正的或预测的分割区域,并优化生成的分割结果通过对抗性的学习网络。摘要CNN在敌对的网络模型包含共有5卷积层,5池层和两层完全连接。卷积核的大小 ,和步长 ,也就是卷积操作不会改变大小的输入。池层是最大的池的大小 ,和步长 ,这减少了输入分辨率减半。ReLu函数选为激活函数,和乙状结肠函数是用于分类操作。
2.5。生成对抗Network-Fused注意力机制
摘要生成敌对的网络分割模型融合的注意机制(AM-GAN)提出和总体结构如图8。
在图8金本位是一个准确的专家手工分割的结果。在AM-GAN,生成网络由ResNet50模型和外地dual-attention机制模块。需要原始图像作为输入,并预测分割作为输出。敌对的网络由cnn。它的输入包括预测的面具分割原始图像和金本位制的面具和原始图像。预测的面具分割判断为假(标记为0),和面具的黄金标准是判断是真实的(标记为1)。
结合生成网络基于剩余网络和外地dual-attention机制与对抗网络基于cnn建立多目标图像分割生成对抗的网络模型。AM-GAN培训后达到最优,该模型用于图像分割是一个发电机的网络。AM-GAN分割模型的结构如图9。
如图9在发电机网络, , , ,和部分基于dual-attention ResNet50机制都有一个预测分割输出,最后预测发电机网络的分割的平均值预测分割这四个部分组成。生成器的输入是通过扩展ResNet50进行特征提取的网络,和地图的特性是通过upsampling。upsampling输出的计算公式的在扩展ResNet50网络 在哪里代表输入图像,代表了卷积的输出部分,代表了 卷积,其目的是为了减少渠道卷积的输出,代表了偏见,代表了批处理规范化,是激活函数,插值upsampling。本文使用双线性插值算法upsample特征映射,并输出 。使用相同的算法,upsampled输出和的和可以获得部分。输出的部分不需要upsampled,的大小 , ,和是一样的 。输入图像的特征提取和upsampling之后,每个部分的输出信息融合。融合特征映射的计算公式是 在哪里代表特征的拼接操作地图频道,是一个 卷积,用于引信的信息之间的四个特征图,是一个 卷积,用于减少渠道的融合特征地图,和是偏见,是激活函数。每个部分的信息融合后,地图的功能是输入dual-attention机制模块功能增强。的计算公式预测输出的模块是 在哪里代表了空间注意机制模块,代表了引导注意力机制模块,代表 卷积,用于渠道的数量转化为分类类别的数量,代表一个双线性插值up-sampling操作,用于恢复大小的输出特性映射到输入图像的大小获得预测分割图像。使用相同的方法,预测的输出 , ,和可以获得。最后, , , ,和添加和平均得到预测分割图像。计算公式是
方程(13)是预测分割的计算表达式 ,在哪里代表平均操作。
GAN分割模型建立了本文的数据处理能力ResNet50扩展基于非局部dual-attention机械机制可以确保可以准确地提取图像多目标特性,而非局部注意力机制也加强ResNet50地图的输出特性,可以进一步提高分割的准确性。的真实性的判断对手的网络可以指导分割网络以避免的损失尽可能的详细信息和优化边界分割和小目标分割。
3所示。学习算法
3.1。的损失函数
复杂的图像的多目标分割,有必要计算多级像素的分类错误。摘要multiclassification叉损失(40)是用作生成网络的损失函数,定义如下:
方程(14)代表multiclassification叉损失的品牌形象和预测分类 ,在哪里 代表长度,宽度,和数字频道的形象。
AM-GAN分割模型,对抗的网络使用执行游戏的真实性损失与生成网络学习,这本质上是一个二元分类问题。因此,two-classification叉损失(41)作为对抗网络的损失函数,定义如下:
方程(15)代表two-classification叉损失,代表了标签和分类代表的分类概率输出对抗的网络。
生成网络的损失函数定义如下: 在哪里是输入图像,是标签分割,生成网络的训练参数集。根据方程(16),生成网络的损失由两部分组成,即multiclassification叉损失预测分割和标签分割和对抗的网络预测分割。的hyperparameter是用来平衡这两种损失。当优化生成网络,我们最小化目标函数。
的损失函数网络的定义是敌对的 在哪里代表了网络对抗的训练参数集。从(17的损失函数),敌对的网络由两部分组成。第一个是two-classification叉损失面具的输入图像地图和标签分割 ,这是判断是真实的(即值是1)。第二个是two-classification叉损失面具的输入图像地图吗和标签分割 ,判定为假(即该值为0)。当网络优化对抗,我们减少损失函数。
氮化镓的损失函数是由生成网络的损失和损失的对抗性的网络。计算表达式
3.2。训练的过程
AM-GAN采用替代的方法生成网络的训练和对抗的网络。为了确保稳定的训练,识别模块的培训时间一般超过的生成模块。摘要minibatch梯度下降(MBGD)算法用于AM-GAN培训。具体过程如下:(1)随机样本样品从噪声样本,样品从真正的样本。(2)梯度提升算法更新对抗网络: (3)重复步骤(1)和(2)次更新对抗的网络次了。(4)抽样生成样本噪声样本,我们更新生成网络一旦使用梯度下降算法: (5)按顺序,我们重复以上步骤,直到模型训练是稳定和优化。
具体的算法实现如下:步骤1:确定GAN和初始化训练参数集。训练参数集生成的网络 ,在哪里 卷积是一组内核扩展ResNet50网络的重量, 是偏见的集合, , , ,和是 卷积核的权重空间注意机制,是 卷积内核引导注意力机制的权重。网络对抗的训练参数集 ,在哪里 卷积是一组内核CNN的权重,然后呢 是偏见的集合。步骤2:随机选择图像样本从样本集,并选择相应的标签分割样本 。步骤3:计算的损失敌对的网络: 。第四步:计算训练参数梯度根据链式法则, 。 是激活函数,是输入特征的地图吗层,特征的地图吗层卷积后,的重量吗层,的偏见层。计算重量的公式梯度用链式法则 在哪里激活函数的导数和吗表示矩阵的转置。的公式计算偏差梯度用链式法则 第五步:使用MBGD优化器更新的卷积重量和偏见对抗网络: 第六步:重复步骤2步骤5次了。第七步:随机选择图像样本 ,并选择相应的标签分割样本 。第八步:计算损失生成的网络: 步骤9:使用MBGD优化器更新参数一代网络。第十步:如果网络收敛于最优,那么培训结束;否则,它将返回到步骤2。
培训被设置为200的时代和批处理大小是10。根据上述算法过程中,所示的训练算法是算法的伪代码1。
4所示。实验和结果分析
4.1。实验数据集
数据集来自联合健康腹部器官分割(混乱)竞争数据集42]。混乱的数据集包含腹部MRI图像。在实验中,腹部MRI腹部图像包含的标签信息肝、左/右肾,脾被选为样本集。典型的腹部图像和标签分割图像如图所示10。
实验数据集包含38组腹部MRI图像,和每组26片的大小 ,总计988片。数据集分为训练集、验证集和测试集,训练集包括30组的切片,切片的验证集包含两组,和测试集包括6片组。由于小数量的样本数据集,随机旋转、镜像等操作是用来增强实验中的数据。片在训练集的最后数量扩大到3120,验证集扩展到104年,测试集是扩大到312。数据集的样本分布如表所示1。
4.2。模型结构和参数设置
AM-GAN是交替训练的训练策略生成网络和对抗的网络。为了确保稳定的训练,生成网络的训练时间的比值和敌对的网络设置为1:6,也就是敌对的网络执行培训6次,然后,生成网络训练一次。
卷积的大小的内核扩展ResNet50生成网络 ,将采样的步长 ,和其他的步长 。激活函数采用ReLu功能,平衡系数的损失函数生成网络设置为0.2。敌对的网络包括5卷积层,5池层,和2完全连接层。卷积核的大小设置为卷积层 ,和步长 。池的池窗口大小层设置为 ,和步长 。乙状结肠函数用作分类功能。的学习速率MBGD优化器设置为0.01,和重量参数初始化截断正态分布。训练的迭代的数量是200,和一批训练是10。实验环境与NVIDIA GeForce 2080 ti RTX GPU的Linux系统。
4.3。实验结果和分析
AM-GAN培训根据算法进行战略部分3和模型结构和参数设置部分4.2。多目标图像分割是由生成的网络。召回率、精度、F1-score、准确性和骰子相似系数是用来评估细分模式的属性。测试集的图像分割实验结果如图所示11,该指数评价结果如表所示2。
在图11,从左到右,有原始的腹部图像,金本位制,即图像手动分割的专家,并通过网络预测分割图像。从图11甘的分割结果是清晰的,光滑。是否它是一个大型的器官如肝脏或小型器官如肾脏和胰腺,GAN可以区分它们更准确,表明该方法具有良好的适用性。
分析学习算法的属性,骰子的曲线系数指标的四个器官和组织,包括肝脏、左肾、右肾,与迭代和脾脏改变,验证集的混淆矩阵记录。结果如图所示12和表3。
在图12的骰子相似系数训练曲线肝、左肾、右肾,脾。肝脏的骰子曲线收敛迅速,相对稳定在以后的迭代。这是因为它的规模相对较大的相对于其他器官,导致分割网络更倾向于了解肝脏区域像素的分类在早期阶段。右肾,左肾和脾器官大小是小于肝脏,和分割网络有一个更深的层面上,导致容易训练和大波动的信息丢失。后期的培训,平均骰子肝系数、左肾、右肾,脾在训练集上是0.92,这表明模型分割的整体效果很好,具有良好的适用性和小目标分割。
从表3,肝脏器官分割精度最高,为97.55%。这是因为肝脏器官的大小是相对较大的,和网络会学习他们的肝脏器官的像素权值。左肾和肝脏的空间位置面积相对较近,和边界组织重叠,导致左肾的细分误差主要来自肝脏和背景。右肾和脾器官接近的空间,导致相互影响。右肾和脾小目标器官,而且没有边界重叠,所以分割比左肾的影响较小。混淆矩阵的左肾分割的准确性为82.39%,而右肾分割的92.68%和脾细分为94.12%。这表明本文方法具有良好的识别能力和区分复杂图像像素分类的功能。
4.4。比较实验和分析
为了验证带来的性能改善AM-GAN外地注意力机制,ResNet-GAN模型构造的比较实验。该模型消除了外地AM-GAN注意力机制,AM-GAN和其他结构是相同的。此外,当前的主流,AM-FCN [43)嵌入基于注意力,注意力U-Net [44]融合在编码器和解码器,注意DANet [45嵌入式基于双重关注,SEVNet [46]融合在SE模块选择比较模型。四个索引值的准确性,记得,精密,F1-score用于比较评估。为了避免误导高背景的绩效评估指标,所有评价指标不包括背景的价值指标。具体结果如表所示4。
从表4,这四个指标的AM-FCN和注意力U-Net低于该模型。这是因为它有机地集成了氮化镓处理和修复低分辨率图像的内在能力,和全球本地内容协会和功能增强机理,外地的关注提高多目标分割结果的准确性。除了召回率,其他指标的DANet低于建议的模型,这表明,外地的注意机制应用于该模型可以从全球当地收集接受域目标区域实现上下文相关的信息。此外,氮化镓可以优化机制,提高分割的分割结果的属性模型,模型和算法是相对强劲的。与ResNet-GAN相比,模型的准确性高1.1%,这表明,外地的关注可以有效地实现信息协会从全球到当地。与氮化镓的概率探索机制相结合,全面改进模型的分割精度。与SEVNet相比,由于固有的高清GAN噪声图像的处理和修复功能和使用游戏策略,实现分割的优化结果,精度、连续性、光滑分割结果的全面改善。基于上述分析,结果表明,本文的方法有综合优势在执行图像目标分割与微不足道的结构特点和达到一个更好的分割效果。
5。结论
本文针对多目标复杂图像的细分割,生成敌对的网络模型融合机制提出了关注。在机制、AM-GAN可以使用高清的图像处理能力和恢复GAN有效地减少噪声的影响,补偿失真,灰度值失真。介绍了非局部空间信道双重关注实现大型接受域的信息关联和约束地方目标和内容维护的连续性分割结果。同时,纳什博弈策略的生成采用网络和对抗的网络,减少了算法的详细损失特性,有效地提高小目标分割的准确性。全面的信息处理机制,这种方法实现图像信息的上下文相关,不同层次的特征融合和尺度,高噪音的高清处理和修复图像,分割结果的优化。实验结果表明,本文提出的多目标分割方法对小型和大型目标具有良好的适用性。与其他方法相比,每个评价指标都得到很大的提高。AM-GAN综合利用的优势外地注意力机制和生成对抗的网络,可细段多实例的目标在复杂的图像。具有良好的适用性的机制来解决图像分割问题无关紧要的形态学特征和弱空间信息的相关性。它提高了局限性和不足的比较方法解决上述问题,提供了一个新颖的深度学习的图像分割方法,有很大的应用价值和良好的推广前景。 However, the information processing mechanism and algorithm process of the method in this paper are more complicated, and the image semantic knowledge and structural features are less used. From the experimental results, the proportion of image background pixels compared with target area pixels is too large, and the number of samples in the dataset is unbalanced, which still has a certain impact on the segmentation accuracy of this method. How to optimize the model and algorithm, improve the discrimination ability of the local target image and the background image, and embed the scene semantic feature knowledge into the segmentation model, which will be an important work in the next stage of research.
数据可用性
的数据支持本研究的发现可以要求从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作得到了山东科技大学研究基金,根据2019年格兰特tdjh102。
补充材料
AM-GAN模型结合生成网络基于剩余网络和外地dual-attention机制与对抗网络基于cnn建立多目标图像分割生成对抗的网络模型。AM-GAN培训后达到最优,该模型用于图像分割是一个发电机的网络。(补充材料)