文摘

乳腺肿瘤分割在随后的疾病诊断中扮演着关键角色,和大多数算法需要互动之前首先定位肿瘤并执行分割基于tumor-centric候选人。在本文中,我们提出一个完全卷积网络实现自动分割乳腺肿瘤的一个端到端的方式。考虑为恶性肿瘤的形状和大小的多样性在数字乳房x光检查,我们引入多尺度图像信息完全卷积致密的网络结构来提高分割精度。多抽样率的深黑色的卷积是连接获得不同视场图像功能没有添加额外的参数的数量,以避免过拟合。加权损失函数也使用在训练根据肿瘤像素的比例在整个图像,为了削弱类不平衡问题。定性和定量比较表明,该算法可以实现自动肿瘤分割,分割精度高,各种大小和形状的肿瘤图像预处理和后处理。

1。介绍

乳腺癌是女性最常见的疾病,已成为第二个疾病导致死亡(1]。乳腺癌患者的数量正逐渐增加,1970年代以来。早期发现乳腺癌是有利于提高生存率和生存质量。乳房x光检查是最传统和非侵入性检查,是一种有效的筛查乳腺癌的早期检测和诊断的方法。肿瘤分割为肿瘤提供了形态学特征和是一个重要的步骤分析和分类。

传统研究肿瘤分割主要依靠灰度和纹理特性不同的乳房x光片分割成不同的区域。提出的方法从一组手动定位种子点或小补丁包含可疑区域,如地区发展(2)和分水岭方法(3]。不同种子点的位置将段肿瘤根据不同的图像预处理方法,如高斯滤波(4,5)和数学形态学操作(6]。分水岭方法主要用于一些预处理算法减少初始分段盆地(7,8]。活动轮廓模型,特别是水平集(9)也可以用于乳腺肿块分割。基于径向梯度指数(RGI)分割方法应用于产生一个初始轮廓接近病变边界位置(10]。三维径向渐变指数分割和3 d水平基于集合的活动轮廓算法(11]乳房也应用于3 d CT图像。嵌入一个特征向量值contour-based水平集方法(12)提出了执行乳房摄影质量分割。它使用水平集方法得到初始边界平滑的乳房x光片的形状约束设计停止功能和综合纹理地图,梯度地图,地图和原来的强度来获得更准确的分割。

提出和contour-based方法都无监督。还有一些基于深层网络监督分割算法。Dhungel et al。13)结合多个深度信念网络(DBNs),高斯混合模型(GMM)分类器,和之前的位置、大小和形状的质量作为潜在功能和使用结构化SVM学习结构化输出和执行分割。他们进一步使用条件随机场(CRF)与树再加权信念传播结构预测功能来提高分割性能(14]。卷积神经网络(CNN)的输出还介绍了作为一个互补的势函数除了上述潜在功能,产生先进的分割性能(15]。这些方法都使用两级培训。一个端到端的网络提出了基于大众感兴趣的区域(ROI)的图像(16]。它采用完全势函数卷积网络模型,其次是CRF执行结构化的学习,和综合对抗训练学习强劲稀缺乳腺图像。

CNN也有强大的能力,提取抽象特性直接从原始输入数据,在计算机视觉领域取得巨大成就,如图像分类(17- - - - - -19),对象检测(20.- - - - - -22),和图像分割23- - - - - -25]。图像分割方法基于CNN可以通过识别图像中每个像素分割结果。长等。23)提出了完全卷积网络(FCN)和执行端到端地微调基于pretrained VGG-Net [26)的图像语义分割。FCN取代了完全连接层与卷积层为了保持位置信息,调整分类网络分割的任务。此外,FCN雇佣跳过架构合并语义功能和详细功能和执行反褶积获得更准确的分割结果。以来,反褶积操作已被广泛应用于许多语义分割网络。Hyeonwoo [24)提出了对称encoder-decoder架构称为DeconvNet。连续使用的DeconvNet unpooling层重构原始大小的激活通过记录最大激活选定的位置在池操作与学习过滤器和反褶积层生成致密pixelwise类概率地图。SegNet [25)是另一个类似对称网络使用卷积后unpooling层来优化稀疏特征图。由于重建的定位精度低分辨率直接从高级特性,U-Net [27)结合upsampling输出的高分辨率特性编码路径提高分割的性能。西蒙et al。28]扩展DenseNet [29日)取得优秀的成果在图像分类任务处理语义分割的问题。提出完全卷积DenseNet (FC-DenseNet)也跳过的连接采用特征图谱downsampling路径的连接与相应的特征图谱upsampling路径和实现技术发展水平的结果。总之,典型的分割架构建立在CNN是完全与encoder-decoder卷积网络架构培训结束的方式结束。它主要组成downsampling路径负责提取粗语义特征和upsampling路径恢复训练输入图像分辨率。

因为数字乳房x光检查的更大的规模,活动轮廓模型的分割时间,如水平集,大大增加,当整个图像自动分割。和最传统的非监督方法依赖于低层特征,如图像灰度值,纹理,梯度,以及其他信息或初始先天的设置,如初始种子点区域生长和初始水平集方法的轮廓。但这不能实现全自动分割乳腺肿瘤,手工和分割精度影响的特性和初始先天的位置。此外,一些图像背景复杂,类似于肿瘤区域的特点,如胸肌肉,或内部和外部区域的灰度值的肿瘤有小的差异。如此,许多提到的分割方法是基于tumor-centric候选框(30.,31日]。尽管一些监督分割算法考虑到类别信息,并可以自动提取肿瘤特性优化细分模式,他们也加入先验信息的位置,大小和形状的肿瘤。他们也是基于这个肿瘤候选人的小盒子,不能直接段整个大尺寸乳房x光片。

我们算法的主要目标是段对整个数字乳房x光检查乳腺肿瘤不是tumor-centric矩形区域在最常用的乳房肿瘤的分割算法。FC-DenseNet进一步利用该功能重用upsampling之前创建的特征图谱密度跳过连接块和使用帮助upsampling路径空间的详细信息将采样恢复路径。它优于当前最先进的结果既不使用pretrained参数也不任何进一步的后处理。所以,我们延长肿瘤FC-DenseNet实现自动分割。同时,考虑到多尺度信息(32,33)有利于提高分割精度不同大小的肿瘤,深黑色的空间金字塔池(ASPP) [34)被添加到FC-DenseNet语义分割网络。没有显著增加学习参数的数量,ASPP连接不同的采样率提取多尺度特性的深黑色的卷积(35扩大接受域。损失函数也是改善解决极其不平衡类的问题根据肿瘤和背景像素的比例在整个图像。我们评估我们收集数字乳房x光检查的数据集,该算法,结果表明,我们的算法比其它算法取得了更好的性能。

2。方法

2.1。回顾FC-DenseNet

FC-DenseNet [28)是一个扩展的优秀DenseNet [29日]在语义分类网络分割通过添加一个upsampling路径恢复完整的输入分辨率。Downsampling FC-DenseNet道路由致密块层和过渡层。致密块层由一批标准化(36),其次是ReLU [37),一个3×3相同的卷积(没有分辨率损失)和辍学概率 ,这是不同于DenseNet。过渡层由一个1×1卷积(保存特征图的数量),后跟一个2×2池操作。Upsampling路径由致密块层和过渡层。过渡了包括一个3×3转置卷积2步来弥补池操作的过渡。upsampled特征地图然后连接到相同的决议将采样的路径形成新的致密块的输入。但为了防止特征图的线性增长,致密块不是连接的输入输出。因此,转置卷积是仅适用于过去致密块获得的特征图,而不是所有特征图连接到目前为止。最后一层的网络是一个1×1后面卷积softmax非线性函数在每个像素预测类标签。

2.2。ASPP-FC-DenseNet分割算法

作为恶性肿瘤的形状和大小是多方面的,如图1的高度和宽度,肿瘤主要分布在200和800像素间隔。幅图片的接受域规模或小卷积核是相对固定的,只有有效的图像特征的接受域范围内,不能上描绘的边缘不同大小的肿瘤。这可能会影响分割精度。因此,提取图像的多尺度信息有助于提高分割精度不同大小的肿瘤。

多尺度图像(图像金字塔)38)是常用的作为输入的网络来提取特征为每个输入规模,和每个尺度的分割结果是线性插值和融合。但所有层平行CNN需要计算多个输入规模的特点,计算很大的消费特征。不同大小的卷积内核有不同的接受字段,和利用不同的卷积核的大小39)提取多尺度图像特征和替代方法。然而,多个并行的分支与不同大小的卷积核大大增加网络宽度和网络学习参数。由于小型数字x光片分割数据集,网络很容易overfit。因此,利用多个场提取多尺度图像特征和相对较少增加参数是必要的。

空间金字塔池(SPP) [40)是一种常见的方法获得多尺度图像信息,最初提出解决问题的对象检测的任意输入大小的建议。根据输出尺寸的要求,SPP将具有任意大小的输入图像划分为相应数量的空间垃圾箱,然后每个空间本池操作上执行。每个空间的功能本结合固定特性输出尺寸。可以看出,SPP的输出层融合不同程度的功能图像垃圾箱,从而提高了识别精度。但是对于图像分割要求像素级语义分类、多个池操作损失图像的细节和空间位置信息。

深黑色的卷积(35)是一个有效的方法来扩大网络接受域不增加卷积核的大小和网络参数和主要由设置不同的深黑色的采样率。如图2,深黑色的卷积执行标准卷积滤波器有洞的抽样率,和“黑洞”的权重是重置为0。深黑色的卷积与速度介绍了0之间的连续过滤值,有效地扩大内核大小过滤器过滤不增加参数的数量。深黑色的卷积操作可能旋卷的每一个像素的输入通过设置特定的卷积的跨步。通过设置采样率,小卷积内核也可以实现大型卷积核的影响,从而扩大网络的接受域不需要学习任何额外的参数和增加的计算量。深黑色的卷积可以任意扩大视场在任何网络层的过滤器。如图2,卷积内核相同的接受域和卷积内核通过设置不同的采样率。根据空间金字塔池的概念,提取的特征的网络重新取样使用并行深黑色的卷积层不同的采样率,然后,从每个采样率提取的特征融合生成最终结果。因此,不同大小的图像特征融合是用来预测接受域对象的标签,这种方法叫做深黑色的空间金字塔池(ASPP) [34]。

因为数字乳房x光片的大小 ,FC-DenseNet需要许多将采样操作减少特征映射到获得抽象图像的分辨率特性,这增加了学习参数和很容易导致网络overfit。此外,它会导致深层网络和庞大的计算和内存消耗。因此,我们调整大小的输入图像 。200像素的小肿瘤,最后几乎是30像素大小。但FC-DenseNet 5池层和下采样率是32,导致省略小号的肿瘤。虽然FC-DenseNet upsampling路径与特征提取将采样连接路径虽然不联系,但这仍然会影响最终的分割精度。因此,将采样操作FC-DenseNet减少到4。同时,密集的街区之间的第一个过渡,最后过渡的原始FC-DenseNet网络删除ASPP模块。ASPP模块组成卷积和深黑色的抽样率6、12和18,分别输出特征这四个深黑色的卷曲的地图结合将采样的输出操作。最后,连接特性映射通过另一个卷积。同时,原池一层一层改为卷积内核大小和步幅,为了减少信息损失的最大池操作。我们使用FC-DenseNet 56层,4层/密集的街区和12的增长率作为基础网络提出的网络(我们叫它ASPP-FC-DenseNet)终于4过渡,4过渡ASPP模块,完全47层,如图3。

在高分辨率数字乳房x光检查的图像,是一个极端失衡前景(肿瘤)和背景类,导致分类器更偏向背景类的培训,导致可怜的分割结果。因此,我们改善简单softmax交叉熵损失函数和考虑图像的每个类频率。假设类的频率在训练数据 ,和所有类别的频率之和(背景和肿瘤)是1;也就是说, 。添加到每个类的逆频率交叉熵损失函数,有效地加强每一个像素的频率类。 在哪里是图像的像素的数量,像素的类标签吗 ,和是像素的概率预测模型的使用正确的类标签。

3所示。结果与讨论

3.1。数据

在我们的研究中使用的数据是数字钼靶x光部门开发的放射学在河南省人民医院。乳房x光检查数据集完全包含190例病人,其中每个包含身高(CC)视图和中间外侧的斜(枣疯病视图,如图4。这意味着有380张图片。枣疯病和CC的图像灰度数字化乳房x线照片分辨率为3328(宽度)4096(高)像素保存为标准DICOM格式。所有的肿瘤在乳房x线照片描绘了由专业放射科医生在医院里,如图4。我们随机将数据集分为训练集,验证集和测试集,没有横在他们中间。火车组包含230张图片,验证和测试集,分别包含75张图片。

3.2。指标

在本文中,我们选择了骰子指数(DI)在最常用的医学图像分割任务和像素精度(PA)和交叉联盟(借据)通常是首选的自然图像分割任务定量评估分割乳腺肿瘤分割算法的性能。计算显示如下:

其中,TP指的是正确的像素数量分为肿瘤。FP是背景像素的数量错误地判断为肿瘤。TN的像素数量是正确识别为背景,和FN代表肿瘤像素的数量被确定为背景。

3.3。实验评价和讨论

我们评估该模型数据集收集乳房x光检查。我们提出的初始学习速率网络设置为0.001,和亚当优化算法(41与默认的β值是用于更新梯度和网络参数。退学率为0.2和批处理规范化也用作调整。培训批大小设置为1时,我们的火车模型100时代来弥补小批量的大小。在乳房x光检查每个像素值归一化到0 - 1和减去像素的中值作为网络的输入。

为了验证提出的性能ASPP-FC-DenseNet,我们比较了与原FC-DenseNet ASPP-FC-DenseNet包含对测试集。图5将采样操作5显示了这两种方法对不同大小的肿瘤的分割结果。ASPP-FC-DenseNet算法具有更高的分类精度与FC-DenseNet相比,具有明显的优势边缘保护不同大小的肿瘤。因此,融合多尺度图像信息可以帮助得到多级图像特性和提高图像分割的性能需要像素级语义识别。同时,FC-DenseNet仍具有较高的识别精度第一两个差别很小的乳房x光成像肿瘤的内部和外部的灰度值。它可以识别肿瘤位置准确、验证乳腺癌FC-DenseNet分割的有效性。

如表所示1骰子ASPP-FC-DenseNet指数均值算法在肿瘤分割测试集是0.7697,平均借据是0.6041,平均像素精度是0.7983。骰子指数和借据ASPP-FC-DenseNet算法有一个小的增加。骰子指数增长了3.42%,借据是增加了1%,像素精度几乎没有提高。因为像素精度是主要关心的假阴性率肿瘤像素,骰子指数和借据考虑肿瘤的假阴性率和misdetection率像素的同时,可以更全面地说明算法的分割精度。因此,它也反映了ASPP-FC-DenseNet有竞争优势在减少肿瘤的误诊率像素在同一案件中。

我们提出了加权交叉熵损失减轻极端失衡前景(肿瘤)和背景像素计数。我们也与正常相比交叉熵损失(不加权)和骰子损失最近提议在医学图像分割42)展示的重要性加权交叉熵的损失。ASPP-FC-DenseNet的肿瘤分割结果与不同的损失函数模型图所示6。从分割结果,加权损失模型具有较低的假阴性率,和分割肿瘤轮廓比其他两个更准确的损失模型。出于这个原因,骰子系数加权损失显然是更高的相同的定量比较表2。这表明加权交叉熵损失相比,类不平衡问题有一个更好的性能与普通交叉熵的损失。骰子可能导致损失的计算梯度和培训不稳定,有时甚至影响性能。

我们还执行实验与原PSPNet相比43],deeplab v3 + [44],U-Net展示所选模型的优越性。不同模型的肿瘤分割结果图所示7。与其他基线模型相比,我们提出ASPP-FC-DenseNet模型为不同大小的肿瘤分割精度高和复杂的背景。所有肿瘤模型准确定位,但是其他三个模型无法获得准确的肿瘤边界相比之下,我们的模型。从这些对比结果,我们还发现,U-Net假阴性率高。与U-Net相比,PSPNet和deeplab v3 +模型所有合并多分辨率图像特征和有一个更好的分割性能。这也证明了多尺度图像特征的重要性和验证的优点同时添加ASPP模块。

这四个模型的定量比较结果如表所示3。我们的模型明显优于其他三种模型三个评价指标。最小的改进也达到4%。Deeplab v3 +模型encode-decode结构和ASPP模块具有较高的分割精度较其他两个模型,这也证明了这两种结构的优势。但deeplab v3的解码模块+模型使用简单的双线性upsample操作可能会失去详细的低级功能。我们的模型是指U-Net解码模块逐步恢复图像分辨率和图像特征编码模块连接。因此,它有较高的分类精度。

我们也选择水平集(45),图(46),和阈值分割算法的定性和定量比较乳腺肿瘤分割测试集。

枣疯病的胸视图的灰度值图像非常接近肿瘤,影响分割精度。在使用水平集之前,图降低,阈值分割算法,枣疯病的胸移除图像首先根据位置信息和灰度阈值,如图8。阈值分割算法是一个简单的图像分割算法。我们使用双阈值分割方法。首先,最初的肿瘤区域是通过迭代阈值分割算法。最后阈值分割灰度平均值的计算获得的结果是肿瘤区域的第一步第二步分割的阈值。对比这三种算法的分割结果,计算连通区域的面积和孤立的小连接区域删除最后的分割结果。

我们提出的算法的分割结果进行比较与其他三个分割算法,如图9。很明显,其他三个分割算法使用预处理,消除了胸肌和后处理仍有分割表现不佳而提出ASPP-FC-DenseNet分割算法。其他三个分割算法可以准确定位肿瘤的位置,但misdetection率高,尤其是对肿瘤图像小肿瘤内外差异和相似的特征。这是由于肿瘤的不同灰度、纹理,和其他特征与正常乳腺组织,所以很容易找到肿瘤的位置。虽然水平集和图形交互式分割算法,它可以最小化能量函数通过手动设置的初始位置作为一个先天的肿瘤,肿瘤主要基于灰度和纹理属性更新演化曲线和图像的高层语义信息缺乏。非肿瘤应承担的地区,其特点是类似于肿瘤,这三个算法分割结果不佳。该算法具有强大的特征提取和表示能力,可以获得更准确的分割结果。

这四个分割算法的定量比较结果如表所示4。拟议中的ASPP-FC-DenseNet算法显著改善了三个评价指标与其他三个分割算法。与图割算法相比,ASPP-FC-DenseNet骰子指数提高30.34%,借据上增加了25.50%,增加了17.63%的像素精度。甚至相比具有更好的水平集分割性能的三个算法,该算法也骰子指数增加了17.08%。借据增加了11.48%,像素精度提高了11.70%。分割精度显著提高。同时,可以看出该算法更有效地改善骰子指数和借据,表明在相同misdetection率,该算法有较低的假阴性率与其他三个算法和分割精度高。

4所示。结论

在本文中,一个完全卷积网络ASPP-FC-DenseNet相结合多尺度图像信息,提出了实现自动分割乳腺肿瘤。进一步利用特性的算法使用FC-DenseNet重用通过跳过连接帮助upsampling路径空间的详细信息将采样恢复路径。考虑到五池层网络导致肿瘤体积小,不易识别,汇聚层网络的数量减少到4。那么深黑色的空间金字塔池模块添加到网络后,最后将采样操作,连接不同视场图像特征通过组合多个采样率的深黑色的卷积。最后,提高网络的损失函数根据肿瘤图像中像素的比例,为了削弱类不平衡问题。定性和定量实验结果证明本文提出的算法具有较高的分类精度为各种大小和形状的肿瘤的乳房x光片没有预处理和后处理,达到自动肿瘤分割。

数据可用性

数字x光片数据用于支持本研究的发现没有提供,因为病人的隐私。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了中国国家重点研发项目授予2017年yfb1002502和中国国家自然科学基金(61701089和61701089号)。