文摘
脑部肿瘤早期检测和诊断是至关重要的诊所。因此分割的主要肿瘤区域需要准确、高效和健壮。在本文中,我们提出一个自动脑瘤分割方法基于卷积神经网络(cnn)。传统cnn只关注局部特性和忽视全局区域特性,这对像素分类和识别都是重要的。此外,大脑肿瘤可以出现在任何地方,任何大小和形状的病人。我们设计一个three-stream框架称为多尺度cnn零售业可以自动检测最优尺度图像的大小和组合来自不同尺度的信息像素周围的地区。基准数据集提供的多通道脑肿瘤图像分割(小鬼)由MICCAI 2013都用于训练和测试。设计多尺度cnn框架还结合了多通道特性从T1, T1-enhanced, T2,和天赋MRI图像。相比传统的cnn和最好的两个方法在2012年和2013年的后代,我们的框架显示脑肿瘤的进步分割的准确性和鲁棒性。
1。介绍
脑瘤是固体的不受控制的增长形成了不受欢迎的细胞在大脑的不同部位。它可以分为恶性肿瘤、良性肿瘤。恶性肿瘤包含原发性肿瘤和转移性肿瘤。神经胶质瘤是最常见的脑肿瘤在成人中,从神经胶质细胞,渗入周围组织(1]。低级别胶质瘤患者预期寿命延长好几年,患者优质最多可以2年(2]。与此同时,被诊断为脑癌患者的数量逐年快速增长,估计23000新病例只有2015年在美国3]。
手术,放疗,化疗主要是常见的治疗脑部肿瘤。后两个旨在减缓肿瘤的生长,而前一个试图切除和治疗肿瘤。因此,早期诊断和歧视脑瘤成为关键。同时,准确的定位和分割脑瘤治疗计划至关重要。
在多种成像模式,磁共振成像(MRI)显示最细节的大脑和脑部肿瘤的最常见的测试诊断(4,5]。核磁共振t1加权磁共振成像(T1w),包含与对比度增强t1加权磁共振成像(T1wc), t2加权MRI (T2w),质子Density-Weighted MRI(血栓)、Fluid-Attenuated反转恢复(天赋),等等。与计算机断层扫描(CT)图像,核磁共振图像从不同类型的机器有不同的灰度值。大脑的神经胶质瘤可以出现在任何位置在任何大小和形状。还神经胶质瘤浸润性肿瘤和难以区分健康的组织。由不同的核磁共振结果,提供不同的信息模式应结合解决上述困难。
尽管几十年来一直在努力寻找有效的方法对大脑肿瘤分割,没有完美的算法被发现。除此之外,大部分都是基于传统的机器学习方法或其他结构分割方法(6]。这些方法使用hand-designed特定功能或产生坏的分割结果在肿瘤周围扩散和对比度很差。方法基于hand-designed特定特性需要计算大量的一般特性和利用edge-related信息而不是适应脑瘤的域。除此之外,传统的功能通过图像梯度,伽柏过滤器,面向的柱状图的梯度(猪),或小波显示坏性能尤其是肿瘤和健康组织之间的界限是模糊的。因此,设计task-adapted [7)和健壮的特性表现为复杂的脑部肿瘤分割是至关重要的。最近,卷积神经网络(cnn)监督学习方法(8]显示优势在学习层次的复杂特性在域数据自动7在面部[],取得了可喜的成果9)和MINST数据库识别(10有丝分裂),检测(11),等等。此外,cnn还展示了成功应用分割问题[12,13),而他们并不经常使用大脑肿瘤分割任务(14,15]。然而,传统的标准cnn只关注当地的文本功能。因此,一些重要的全球特性不可避免地丢失。本地和全球的特性在图像识别任务中起着重要的作用[16,17),我们提出一个具体的cnn架构脑瘤分割结合所有这些特性。在此体系结构中,多尺度概念介绍给我们之前设计的传统single-scale cnn (18]。结合多尺度cnn,局部和全局特征提取。像素分类预测通过整合信息从cnn。除此之外,多峰性核磁共振图像训练同时利用互补信息。实验表明承诺通过多尺度cnn肿瘤分割结果。
2。我们的多尺度卷积神经网络
为了减少计算时间由3 d cnn,我们利用2 d cnn从轴向来看,分别。作为核磁共振图像缺乏信息轴向,片使用补丁,并通过这种方式,大大减少计算时间。对于每一个2 d轴向图像,每个像素结合信息从不同的图像的方法,包括T1, T2, T1c和天赋。就像传统的cnn (19,20.),我们的多尺度cnn模型需要的类中心输入补丁作为预测结果。因此网络的输入补丁是几个2 d补丁从四个模式。
2.1。传统的有线电视新闻网
为了清楚地表明cnn的结构,人物1和2两个经典的例子,传统cnn著名ImageNet [21]和MINST [10)数据集。后输入层,如数据所示,cnn是由两个部分:特征提取和分类的连接部分。特征提取部分包括对卷积层和下样品层,通过提取特征的层次结构。随后的每一层的输出作为输入层。这个输出特性这一层的地图。因此,琐碎的部分图像砍下来,主要描述输入图像补丁是左,分别。
根据不同的数据结构,cnn使用不同大小的补丁数据作为输入(红色1和2;ImageNet和MNIST,是静态的一个特定的数据集)。合理,对一个特定类型的数据,只有一个网络结构是适当的(如ImageNet cnn和MINST cnn)。从示例图1,我们可以得出这样的结论:传统cnn上很好地运行特性检测和识别的关键。ImageNet通常是自然图像的图像的局部特性(或纹理特征)更重要比全球特性(或特性)的结构。传统cnn执行很好训练分类的一个特定的问题。但它可能会崩溃等使用只有一个网络结构来处理变量地区问题。脑瘤可以是任何大小和形状不同的病人,甚至不同切片的一个病人是不一样的大小。此外,传统的有线电视新闻网太过注重地方特色,经过训练的网络不适应不同的输入脑部肿瘤图像。的肿瘤图像的特性通常是模糊的,本地和全球的特性是非常重要的。结果,识别肿瘤的准确性通过传统cnn将严重下降。
为了解决这类问题,我们提出一个多尺度cnn框架可以检测的局部和全局特征都在同一时间。多尺度cnn,结合局部和全局特征,可以适应不同的资源的输入图像,包括脑肿瘤的不同资源和其他软组织。
2.2。我们的多尺度cnn的体系结构模型
2.2.1。自动选择合适的图像补丁的大小在多尺度cnn模型
在讨论部分2.1、选择适当的输入图像补丁大小中提取特征的一个重要部分。选择适当的大小,特别是接近脑瘤,可以提高分类精度的cnn。这是我们认真一点强调通过实验。工作流的自动选择合适的图像补丁大小如图3。传统的程序分类包括训练和测试部分。我们之前做手术之前培训的部分。如图3数据显示,1%的培训2 d切片随机选择和提取不同尺度的图像补丁为了获得前三的图像块大小。这三通道数据多尺度cnn在图的来源4。本文从程序之前,三个尺度的补丁,,零售业产生精度选择结果和多尺度cnn的来源。当数据集变化,之前的程序方法,不同尺度的图像大小路径将会选择最好的分类结果。
2.2.2。我们的多尺度cnn架构
多尺度cnn的总体结构如图4。这个网络是适合各种脑部肿瘤的大小。我们建议three-pathway cnn架构。这建筑是由three-pathway流:一种小输入图像的大小与中间,一个输入图像的大小与大尺寸,最后一个。在此体系结构中,每个像素的分类的预测是通过组合不同尺度的特点:当地周围像素和全球地区。
采取块大小,例如,我们设计七层体系结构,包括一个输入层,五层卷积(指出C1, C2, C3、C4和C5),和一个马克斯池层。在此体系结构中,卷积层作为cnn的构建块。这些卷积层堆积在彼此形成一个层次结构的特性。过滤器每个卷积层设置为内核的大小,,,,。第一次卷积层C1需要不同形式的MRI图像补丁作为输入并产生12特征图的大小。然后C1的输出作为输入的C2。特征映射计算 在哪里是th输入通道(每个输入通道这一形态),是内核的频道,卷积运算,是偏差项。五卷积层之后,马克斯池操作发生。这是把最大特征值好子窗口内每个特性图,减少相应的特征映射的大小。这二次抽样产生介绍当地翻译不变性的财产。权重的三个通道分别学习然后three-pathway网络结合在一起。我们提出了多尺度cnn的成功欠这些数据驱动和特定于任务的密度特征提取器。
毕竟这些不同的特定于任务的层次结构的特征提取过程,所有输出的三个途径相结合作为输入完整的连接层。这完整的连接层是最后中央像素分类的输入图像补丁。在这一层,学会了分层特性的三个途径被安排在一个维度和利用在一起块分类。
详细过程如下:第一频道(图像块大小)马克斯池过程后,产生特征数量和大小是1024;第二通道(图像块大小),输出是72和数量和规模上的特性分别;第三频道(图像块大小大小),输出特性数量和特性是16。为了把这三种不同的输出特征尺寸和数量,一种新的一维向量是由包含在三个通道的所有特性,和矢量大小是5504(此句三种特性的总和)。这个向量是肿瘤图像的描述和在肿瘤中扮演角色分类下三层模块。
详细的实验性能分析中描述的部分3。
3所示。实验结果
在本节中,为了显示我们的多尺度cnn架构的有效性和鲁棒性,各种各样的实验。首先,重要的是要确定适当的图像补丁大小培训之前之前输入的过程。这个操作是找到最合适的补丁的大小对cnn培训。实验测试性能进行传统的cnn只有一个途径。在本节中,cnn的表演不同的层和迭代时间还测试了。然后任意两个传统cnn测试前部分结合two-pathway cnn和比较在不同数量cnn的途径。最后,实验进行了展示设计的细分精度高和效率three-pathway cnn架构。比较先进的方法发表在孩子们一起制作(1]。
骰子比率通常被用来验证算法分割结果。中定义的(2),骰子比率是指相似性手册标准和我们的自动算法分割结果:
3.1。数据描述
执行的实验是在基准数据集提供的小鬼们20131]。T1c数据集包括T1, T2,图像和天赋。训练数据包括30病人数据集和50合成数据集。所有这些数据集与肿瘤人工注释标签(nonenhancing肿瘤坏死、水肿,增强肿瘤标记为1,2,3,4,而0代表正常的问题)。图5显示了一个示例的肿瘤结构在不同的图像模式(T1,天赋、T1c和手动标准)。肿瘤检测、T1显示了肿瘤的光明的边界,而T2显示光明的肿瘤区域。天赋是有效的从脑脊液中分离水肿区。摘要四个图像形式结合在cnn利用互补信息培训。
3.2。适当的图像块的大小和层数对传统cnn
随着传统cnn只有一个网络结构,它是适合某些固定大小的输入图像补丁。之前我们得到的图像补丁大小三大程序前培训(如图3)。图6显示了意味着大脑肿瘤分割结果五个数据集。我们设计了不同的一条通路cnn架构包括3,5,7,9层。起初,脑部肿瘤分割精度随层数的增加。结构7层输入补丁的大小达到最高精度。但精度下降大大9-layer cnn。
每次迭代时间,分割结果是精制和纠正。结果,精度也更高随着迭代次数的增加(在图6)。通过实验,可以得出结论:迭代时间为1000是一个最合适的选择。
图7说明了零售业的不同影响输入图像块大小对大脑肿瘤分割结果传统的一条通路cnn。统计了测试数据集从1到5。,,三个最合适的类型的块大小的结论。它可以得出,在这三种类型中,是最好的选择在大多数数据集(数据显示1、2、3和5 4除外)。执行不以及数据集的其他两种类型4,这可能是因为肿瘤在不同切片和复杂形状的位置。但其准确性仍高于和在数据集3块大小。作为一个整体,这三种类型的补丁大小掌握不同尺度的特性和信息从大脑肿瘤图像,这些都是重要的肿瘤的分割和识别。
本节实验表明,该补丁的大小和层设计cnn架构扮演重要角色在肿瘤分类的准确性。作为数据6和7显示,三个合适的块大小(例如,,,)应该主要补丁的大小对我们多尺度cnn网络,每个作为一个途径。
3.3。比较不同规模cnn的组合
零售业的任意两个组合适当的块大小,也就是说,形成two-pathway cnn,测试在这一节中。最后每个补丁大小cnn充当我们的多尺度cnn的途径之一。比较也都是其中之一。从图8,很明显,通过双刻度cnn的联合训练,提高肿瘤分类精度与单一路径cnn相比,但在不同的改善程度。作为一个整体,包含联合训练块大小执行比其他两个补丁的大小(和)。这是因为块大小为cnn提供全球范围内的信息功能学习。遗憾,和联合训练甚至降低精度相比单通道cnn,但高于美国有线电视新闻网。这可能是由于缺乏全局特性路径途径。很明显,通过结合全球和地方特性(,,摘要),提高精度,达到近一些数据集在图0.98,这说明了我们提出的多尺度cnn模型的优点。
3.4。与其他方法相比
图9说明与其他方法比较有钱的挑战[1]。文献[1)在2014年发表的提供全面和正式结果的方法,参加了2012年和2013年的小鬼。我们选择最好的两个执行算法(1,18)进行比较。顶部边缘的蓝色矩形代表平均每个方法的准确性,同时须在每个方法的平均方差值表示。
没有例外,平均精度结果传统的一条通路cnn,,都落后于前两种方法。然而,传统的有线电视新闻网的性能与路径的大小仍比鲍尔2012,说明贴片的尺寸吗是一个最合适的选择。而我们的多尺度cnn平均评分低于最好的方法(0.81和0.82),我们的方法一样稳定是最好的方法(方差0.099和0.095)。与第二Menze最好的方法相比,我们的方法更准确(0.81和0.78)但不是那样稳定(0.099和0.06)。这可能是由于缺乏具体的预处理步骤前cnn培训。
4所示。结论
在本文中,我们提出一个基于cnn脑瘤自动分割方法。传统于一条通路cnn只支持固定大小的输入图像补丁和继电器对当地特色。此外,脑瘤可以是任何大小和形状和定位在大脑的任何部分。因此,传统的cnn不适应精确的分割和分类的脑瘤。解决上述问题,提出了一种多尺度cnn模型,通过它不仅学会了局部和全局特性,但也补充信息从不同的核磁共振图像形态(T1c包括T1, T2和天赋)相结合。通过各种实验,我们three-pathway cnn展示他们的优势和改进与传统的cnn和其它先进的方法。
在未来,我们将进一步探讨和设计其他cnn架构利用其自学习特性和提高分割精度通过提取丰富的边界信息和识别模糊点。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
本文创新小组的项目支持的北京,中国国家自然科学基金批准号下81370038,北京自然科学基金批准号下7142012,北京新星项目批准号下下Z141101001814107,中国博士后科学基金会批准号2014 m560032,北京市教育委员会科技项目批准号下km201410005003,该基金批准号下的北京工业大学2013 - rx l04,下的北京工业大学基础研究基金批准号002000514312015。