文摘
乳房在医学图像分割和质量检测对诊断和治疗随访很重要。这些具有挑战性的任务的自动化可以帮助放射科医生通过减少乳腺癌的高体力工作负载分析。摘要深卷积神经网络(DCNN)用于乳房分割和质量检测在动态对比增强磁共振成像(DCE-MRI)。首先,该地区的乳房从其余身体部位分割通过构建一个完全基于U-Net + +卷积神经网络。使用深度学习的方法提取目标区域可以帮助减少乳房外部的干扰。第二,更快的地区卷积神经网络(快RCNN)是用于质量检测分割乳腺图像。DCE-MRI用于本研究的数据来自75名患者,采用5倍交叉验证方法。乳房区域分割的统计分析是由计算骰子相似系数(DSC), Jaccard系数和分割的敏感性。乳房质量检测、验证的敏感性与假阳性的数量每箱是计算和分析。骰子和Jaccard系数和乳房区域分割的分割灵敏度值是0.951,0.908,和0.948,分别是比原来的U-Net算法,和质量检测的平均灵敏度达到0.874与3.4假阳性情况。
1。介绍
乳腺癌是女性最常见的癌症之一,在世界范围内(1]。早期诊断和治疗被证明能降低死亡率(2]。动态对比增强磁共振成像(DCE-MRI)是一个更可靠的工具,用于早期发现乳腺癌的乳房x光检查和超声3]。乳房的正确解决DCE-MRI形象在很大程度上取决于质量的可视化、操作经验,数据分析所需的时间。因为手工分析的系列是耗时且容易出错,一些特定的系统已经开发出来,帮助放射科医生检测和诊断乳腺病变,从而大大提高了医生的工作效率(4]。尽管一些计算机辅助诊断(CAD)系统是目前应用于临床,全自动检测乳腺病变仍是一个持续的问题5]。
一般来说,DCE-MRI形象的乳房还包括其他器官如肺、心脏、肝脏和胸肌肉。分离的乳房从其他器官进行进一步分析是必要的。手动分割的乳房区域是乏味;因此段是不切实际的整个乳房从大量不同的数据集。自动分割的乳房区域减少偏见和可以加速数据处理结果。常规乳房地区文献提出了基于阈值分割方法,形态学,模糊性与特定像素之间的连接。达卡兰等人分割阈值的乳房组织内外,形态学操作,和b样条曲线拟合6]。吴et al。7)结合边缘增强和边缘连接的候选人评估检测胸壁行矢状面。江et al。8)使用动态编程结合预处理段fat-suppressed横向DCE-MRI乳房地区。虽然这些传统方法表现出良好的性能,这些算法的鲁棒性是不够的,他们往往失败在某些特定的数据,因为他们只能处理潜在的信息。近年来,卷积神经网络(cnn)已经广泛应用于生物医学等语义分割FCN [9],SegNet [10],U-Net [11]。这些深层网络可以自动提取的高级功能和完成pixel-wise分割。许等人使用一个2 d U-Net自动乳腺区域分割DCE-MRI [12]。基于SegNet Adoui等人建立了两个完全cnn和U-Net乳腺肿瘤分割(13]。基于U-Net在医学图像分割的成功,另外本研究使用U-Net + + (14]比较DCE-MRI乳房区域分割的图像。我们的结果表明该方法的有效性和准确性在生物医学分割任务。
因为不同大小、形状、外观、质量和密度,CAD对母乳质量检测是一项非常具有挑战性的任务15,16]。乳房质量检测的传统方法主要依靠阈值(17)或质量模板(18基于各种过滤操作符)。黄等人多尺度分析基于hessian用于乳房质量检测(19,王等人发现乳房肿块基于格式塔心理学(20.]。这些传统检测算法对图像噪声敏感,和hand-designed特性不足够健壮的对比和bias-field模糊。深卷积神经网络(DCNNs)明显优于传统方法,近年来,由于功能表达能力强,可以进一步提高检测精度。与深度学习的发展,DCNN已广泛应用于医学图像检测(21- - - - - -23]。这些CAD系统可用于乳腺癌和肺癌之间的迁移。CAD系统的应用程序帮助放射科医生作为第二评论家评价筛选医学图像。CAD系统基于一个最成功的对象检测frameworks-Faster RCNN [24——实现高灵敏度与乳房x光检查的数据集和一些假阳性结果tomosynthesis [25,26]。乳腺磁共振成像领域,深度学习框架的发展是有限的,因为只有一小部分数据是可用的。与这一背景下,我们把RCNN快到DCE-MRI数据集质量检测乳腺癌。
摘要DCNN-based框架存在乳腺癌计算机辅助分割的区域和乳腺肿瘤的检测。乳房区域分割最初是由U-Net + +删除其他器官除了乳房区域消除干扰。U-Net也被实现为一个细分框架的比较。考虑到有限的数据集,数据增加减少过度拟合训练期间使用。乳房质量检测是通过培训实现更快RCNN图像预处理,分割网络由放射科医生和标签标注。拟议的方法验证了5倍交叉验证技术来获得比独立测试结果更可靠。自动分割的性能评估使用相似性系数。乳房质量检测模型评估使用灵敏度假阳性每箱的数量。
2。材料和方法
2.1。数据
数据集由75名妇女(平均年龄47岁;年龄18 - 68岁)与组织病理学证实乳腺肿块中山大学癌症中心(广州)。可疑的乳腺肿块患者招募后提供书面知情同意。中山大学癌症中心的伦理委员会批准了这项研究。扫描患者的卧姿双边乳房自然挂成线圈的两个洞。3.0 T超导磁系统(发现750年,通用电气医疗集团)与两国举办相控阵breast-specific表面线圈用于成像。标准进行成像,包括轴向快速自旋回波(FSE) T1WI,轴向和径向FSE T2WI。随后,diffusion-weighted图像(驾车)获得在轴向的飞机。DCE-MRI数据获得使用VIBRANT-FLEX技术在轴向方向,后一组unenhanced基线图像获得使用MRI-specific自动功率注入器(Medrad Inc .,匹兹堡,美国)注入0.1更易/公斤体重对比剂(gadopentetate dimeglumine;马根维显,拜耳先灵葆雅制药,柏林,德国),用一只手静脉穿刺技术3毫升/秒的速度。 Saline (10 mL at 3 mL/s) was then injected to wash the tube. Dynamic scanning was initiated by simultaneously pushing the high-pressure syringe button and the dynamic scan button. Eight postcontrast sets were acquired under the following scanning conditions: field of view, 32 cm; matrix, 320 × 320; section thickness without a gap, 1.4 mm; repetition time, 3.9 ms; echo time, 1.7 ms; and flip angle, 5°. The patients had not received any treatment before undergoing MRI. In this study, only mass-like masses showed strong contrast.
诊断后确认后续的穿刺活检或手术切除,病理分析或病变没有改变至少随访2年定义为良性病变。
分析了所有图片由两个独立放射科医生在乳房核磁共振有十年的经验。独立评估的图像和任何有分歧的解决达成共识。所有病变都用乳房成像评估报告和数据系统(BI-RADS)。BI-RADS类别1(-)和第二类(良性)表示基本上0%癌症的可能性。BI-RADS 3级(可能是良性)评估更直观,可以推荐的一个独特的焦点找到恶性肿瘤的可能性是≥0%但≤2%。BI-RADS 4级(可疑)和5级(高度提示恶性肿瘤)描述MRI发现可疑足以使组织诊断。BI-RADS类别6 (biopsy-proven恶性肿瘤)描述MRI发现的biopsy-proven乳腺癌手术切除时建议临床上合适。
本研究的目的是检测质量。所有病变BI-RADS得分大于1中使用的数据集。据统计,质量的直径范围从1.07到6.69厘米。
3所示。方法
我们的全自动方法由两部分组成:乳房区域分割和乳房质量检测。乳腺区域的自动分割是一项具有挑战性的任务,因为大乳房变化形状,大小,图像工件,和其他噪音性错误。灵感来自DCNN模型对象分割任务的成功,我们实现了一个U-Net + +框架乳房区域分割,以及U-Net框架进行比较。接下来,我们获得的乳腺图像区域从身体其他器官/干扰部分的输入速度RCNN检测乳腺肿瘤。最后,确定了位置和大小的乳房质量。这个方法的整体框架如图1。
U-Net [11)是用于乳房区域分割的比较,及其体系结构如图2。这种方法的一个优点是它的健壮性即使小的训练数据。建筑由downsampling(左)和upsampling(右侧)。左边充当编码器和提取功能通过网络。它包含了一个典型的回旋的结构:两个3×3卷积操作和一个2×2 max-pooling操作。每个卷积操作后跟批正常化(BN)和修正线性单元(ReLU)。右侧充当一个译码器也包含了一个典型的体系结构:一个2×2 upsampling操作和两个3×3卷积操作,每个BN和ReLU紧随其后。承包路径用于结合高分辨率特征图谱与upsampling输出准确的每个像素进行分类和定位。输入图像的每个像素分类为乳房区域或背景。评估细分损失,我们使用二进制交叉熵(公元前)损失函数。 在哪里是地面真理和所有的预测概率吗米像素。
U-Net + + (14)是一个改进版本的U-Net生物医学图像分割。跳过连接U-Net, U-Net + +添加模块通过叠加整合不同层次的特点。进一步,以确保梯度传播,U-Net + +使用深监督方案连接中间模块最终的输出,最后形成一个致密的块结构如图3。损失函数是一个二进制交叉熵和骰子上面的四个语义水平系数,这是形容 在哪里和表示平坦地面真理的扁平的预测概率图像,分别表示批量大小。
对象检测网络名为更快RCNN [24)是由两个模块组成的。第一个模块是一个深完全CNN,提出区域和第二个模块是该地区使用的检测器。特征映射从输入图像中提取利用resnet - 101 (27]。resnet - 101已经被证实是表现良好的分类任务,这表明,它具有良好的特征提取能力。地区建议网络(RPN)考虑了特征映射作为输入,并提供了一组矩形对象建议作为输出,每个对象的分数。项结构(24]本文使用没有修改。ROI对齐的功能是将感兴趣的区域(ROI)映射区域大小不同的固定大小的特征图谱。ROI对齐(28)可以有效地解决这个问题引起的失调两次量子化ROI池。大对象的检测,两个方案之间的差异是罕见的。如果有更多的小对象图中被检测到,ROI对齐是首选,更准确。摘要乳房核磁共振图像的质量为研究目标,其中直径小于48像素,属于小目标。因此,ROI对齐选择检测网络。共享功能的RPN和完全连接(FC)层。结构如图4。
我们四个回归计算损失。与预测质量坐标、宽度和高度,然后呢是预测质量的分类损失概率。地面实况标签确定每个锚如下:如果一个锚与质量与一个十字路口在联盟(借据)大于0.7,然后它被认为是积极的( )。相反,如果一个锚与大规模借据小于0.3,它被认为是消极的( )。所有其他锚不会导致损失,只有积极的锚为回归的损失。锚的最终损失函数定义如下:
在这里,是一个向量代表的四坐标参数化预测边界框和是地面真理与积极的锚。我们使用二进制交叉熵损失和光滑的L1损失 。
3.1。绩效评估
提出了乳房区域分割方法的性能进行了测试使用骰子相似系数(DSC) [29日),Jaccard系数(30.),分割敏感性被Udupa et al。31日),这是由以下方程: 在哪里一个自动分割结果和吗B是地面真理。
对于目标检测任务,性能是衡量敏感性与假阳性样品的平均数量。乳房的任务质量检测的敏感性,也被称为真阳性率(TPR),代表的数量的比例检测质量数量数据集的质量。这是计算使用真阳性(TP),假阴性(FN),和假阳性(FP)。应该指出的是,真正的负面(TN)在目标探测任务是没有意义的。
接受者操作特征曲线(ROC)是第一个发明的电子和雷达工程师在二战期间检测车辆在战场上,敌人。,信号检测理论。不久之后,它被引入心理学检测信号的感知。自那时以来,它已被引入机器学习领域的评估分类和测试结果,是一个非常重要和常用的统计分析方法。然而,经典的民国方法无法解决的实际问题评估图像目标探测任务。在1970年代,FROC的概念(自由反应ROC)提出,它允许任意异常的评估在每个图像。FROC曲线认为假阳性的数量在每个样本x设在和召回y设在。曲线越接近左上角,模型的性能越好。
4所示。结果
4.1。乳房分割
由于乳房核磁共振成像的不确定性,传统的方法不能有时部分乳房区域很好。因此,在这项研究中,我们采用了深度学习乳房区域分割的方法。
我们提出了乳房区域分割训练U-Net + +模型,去除干扰不同DCE-MRI系列乳房外部区域。我们使用DCE-MRIs从75名患者的数据集。细分任务,我们创建了乳房区域标签为每个病人(图5)。因为连续图像的相似性DCE-MRI系列,我们分配了一个乳房区域标签连续每10图像。我们使用患者的立场,5倍交叉验证。每个子集包含DCE-MRI 15例。此外为了说明我们的算法的鲁棒性,我们训练我们的模型在四个子集和验证它的子集。为数据增加,训练集水平翻转。我们训练U-Net + +模型和U-Net模型比较了50时代使用随机梯度下降法(SGD)过去时代使用的优化和预测验证数据集。批处理大小被设置为5 GPU内存的限制。U-Net的培训流程和U-Net + +数据所示6和7分别展示的最终融合网络。
分割性能验证通过DSC, Jaccard,分割灵敏度的验证数据集。我们计算的性能值U-Net + +为每个验证图像,其中平均为0.951,0.908,和0.948,分别比U-Net更好。提供了评价结果表1和2。实验1 - 5从5倍交叉验证实验。每个实验结果的性能评估,骰子系数的平均值(DSC), Jaccard系数,和分割敏感性之间的分割结果和地面真理来自15个不同情况下计算。平均性能评估。乳房区域分割结果验证数据集在图所示8。从整体的分割效果,U-Net + +分割的完整性和鲁棒性优于U-Net。
4.2。质量检测
鼓励的整体成功更快RCNN在自然图像和深度残余网络,我们在研究中使用的乳房质量检测。消除冗余信息和外部噪声的影响,我们首先使用训练有素的U-Net + +模型对图像进行预处理。之后,训练和验证数据集只包含有关乳腺区域的信息。所有包含提取质量的片,宽度和高度的中心坐标和图像的质量是培训。在验证,整个案子分段和加工。检测结果通过网络映射到三维空间,和边界框接近彼此的空间将被合并成一个候选人。候选人将被评为TP如果欠条与地面真理是大于0.5而FP如果小于0.5。我们使用患者的立场5倍交叉验证。每个子集包含DCE-MRI 15例。进一步说明我们的算法的鲁棒性,我们训练模型子集和验证基于其他4日剩余子集。 In the training subset, we used 30 epochs in total with SGD optimization and a momentum of 0.9. Because of the limitation of GPU memory, the batch size parameter was set to 8. We used a weight decay of 。最初的学习速率是0.001和0.1乘以每10时代。培训网络之前,权重pretrained resnet - 101加载转移学习,有效地加速收敛。网络的训练过程如图9,这显示了最终的融合网络。
我们验证了更快RCNN模型的基础上,验证数据集和平均mass-level灵敏度达到0.874 3.4假阳性的情况。比较几种检测结果如图10。网络输出的具体位置和大小信息不同的质量,以及概率。关于5倍交叉验证,图11显示了每个实验的FROC曲线和图12显示了平均FROC曲线5倍交叉验证。数据集的总规模很小,所以很可能几件样品明显不同于其他情况下,影响实验结果的准确性。因此,使用交叉验证方法,使实验结果更令人信服的在小数据集。曲线的性能支持拟议的乳房质量检测方法作为一个有用的工具来协助医生诊断。
5。讨论
我们提出一个方法基于DCNN有效段乳房区域和检测乳房DCE-MRI图像质量。该方法的成功主要依赖于两个方面。首先,乳房区域分割是必要的,因为其他器官在乳房占据了大部分的图像区域,大大干扰检测的质量。U-Net + +是一个完全卷积网络适用于各种生物医学分割问题。网络包含了卷积层和max-pooling层和没有完全连接层。具体来说,跳过连接之间有密集的街区,它可以充分利用提取的特征。由于缺乏数据集,采用5倍交叉验证。我们使用我们自己的数据训练U-Net + + 50时代,DSC, Jaccard,分割获得的灵敏度值分别为0.951,0.908和0.948,分别比同U-Net。实验结果表明,U-Net + +乳腺区域的分割比U-Net分割更精确和完整。见图8的分割乳腺区域的结束不是很准确,但关键地区保存完好,有助于质量检测。第二,加快RCNN是一种灵活的通用对象检测框架,很容易扩展到生物医学检测任务。本研究使用resnet - 101为骨干的更快RCNN从输入图像中提取特征映射。然后,有两个并行分支共享功能映射,边界框的回归和分类。我们使用了训练有素的U-Net + +模型对训练数据集进行预处理,消除干扰。培训网络之前,权重pretrained resnet - 101加载转移学习,有效地加速收敛。绩效评估,快RCNN准确发现乳房的位置信息质量和提供相应的信心。我们用5倍交叉验证,平均灵敏度性能达到每箱0.874与3.4假阳性。这意味着我们的结果可能有潜在价值对乳腺癌的早期诊断和治疗,但需要更多的临床病例进行研究验证。
我们的研究有一定的局限性,但它可以在我们的数据集验证这种方法的可行性。未来的研究包括从多个方向检测以及使用3 d CNN中提取3 d功能的地图。本文中使用的数据集相对较小。我们的目标是建立一个大规模的公开数据集方便将来论文用不同算法的性能比较。
6。结论
在此,我们提出了一个自动乳腺区域分割和质量检测方法基于DCNN DCE-MRIs。我们的方法包括乳房区域分割U-Net + +和乳房质量RCNN更快的检测。DCNNs训练和验证在DCE-MRIs从中山大学癌症中心,表现出良好的性能。我们相信这种方法提供了一个强大的临床工具来帮助医生准确、快速诊断乳腺肿块。未来的研究将包括更大的开放数据的建立和放射科医生和外科医生在临床实践的意见。
数据可用性
DCE-MRI数据用于支持本研究的发现是由中山大学癌症中心(广州)许可证,没有免费的,因为病人隐私。如果我们的数据集是对你有用,请联系相应的作者通过电子邮件。
的利益冲突
作者宣称没有利益冲突有关的出版。
作者的贡献
汉娇和新华社江本研究同样起到了推波助澜的作用。
确认
这项工作得到了国家自然科学基金(no.61771494)和广东省科技计划项目(没有。2016 a010104007)。这项工作是由广东省科技计划项目,中国(没有。2016 b090918066)和广州的科技项目,中国(没有。201704020060,201807010057)。