文摘
图像分割在多峰性成像中起着重要的作用,尤其是在融合结构提供的CT图像,与功能性核磁共振图像采集的光学技术,或其他新颖的成像技术。此外,图像分割也提供详细的结构描述定量可视化治疗光分布在人体包含3 d光传输模拟方法。在这里,我们首先使用小波去噪等预处理方法提取不同组织的精确轮廓如头骨、脑脊液(CSF)、灰质(GM),和白质(WM) 5日MRI图像数据集。然后我们意识到自动图像分割与深度利用卷积神经网络学习。此外,我们还将介绍并行计算。这种方法大大减少了处理时间相比,手动和半自动分割的重视,提高速度和准确性随着越来越多的样品正在学习。灰质和白质的分段数据由计算机体积的计算,这表明潜在的这种分割技术在诊断脑萎缩定量。我们将演示等图像处理的巨大潜力和深度learning-combined自动组织在神经病学医学图像分割。
1。介绍
给出明确的和高分辨率核磁共振成像的大脑组织(1]。这是一种常见的脑部疾病的临床检查方法。人类的大脑结构非常复杂。重要的组织包括灰质、白质和脑脊液(2)(图1(一))。这些组织在内存中发挥关键作用,认知、感知和语言(3]。脑萎缩/扩张[4,5和脑白质营养不良6)是严重的脑功能障碍疾病,在婴儿和老年人发病率高7]。然而,至关重要的组织如脑脊液、灰质、白质和难以区分由于模糊的界限,特别是在横断面图像不显示大脑的中心,如(图所示1 (b))。因此,医生很难分别分析并找到疾病的位置(8]。image-aided医学诊断的普及,计算机辅助医生可以提高分割效率(9灰质和白质的大脑核磁共振。先生成像,不同的信号强度和加权图像(T1加权和T2加权)可以使图像显示在不同的灰色的水平。自从T1大脑磁图像显示软组织是更好的10),实验选择大脑磁共振T1-W图像作为实验样本。
(一)
(b)
许多方法已经自动段大脑图像。基于区域的分割算法、纹理和直方图阈值(11,12很简单但缺乏准确性。段图像阈值是一个简单但有效的方法。然而,也有一些关于只使用此方法分割限制。首先,组织的灰度可能不被限制在一个范围内。这意味着,如果我们简单地使用阈值来定位组织,它可能无法单独的部分。其次,阈值通常不考虑图像的空间属性。例如,头骨是一个圆形结构,涵盖了其他组织。这可以帮助我们确定组织的位置,得到更准确的分割图像。因此,阈值测定往往被认为是早期阶段序列图像的过程。后来,方法与模糊c均值(FCM) [13,14]介绍了和机器学习。atlas-based方法也广泛用于脑图像分割(15]。它有一个相对完整的体系框架。然而,明确信息,如强度和空间特性是必需的,为了得到准确的结果(16]。空间和强度特性可以避免通过使用卷积神经网络(cnn) [16]。勒存卷积神经网络提出的et al。17)是一个很深的监督学习方法(18]。它已经被应用于许多领域,在图像识别方面取得了巨大的成功19,20.),语音识别(21,22),自然语言处理,等等。cnn获得卷积重量通过循环卷积和样本监督训练模式。最终实现直接从原始输入,这有利于分类的特征。图像识别的特征纹理,形状,和结构。
MICCAI每年举行的一次会议上关注医学影像计算和计算机辅助干预(23]。最近,许多方法提出了深度学习有关会议。张等人提出了一个2 d patch-wise卷积神经网络(cnn)方法从多通道图像先生段组织的婴儿(24]。一个N∗N大小的图像块提取从一个给定的图像,和模型训练与这些块。然后,标签是正确的识别类。为了提高块的性能培训框架,多尺度cnn用各种各样的方式与不同的块大小。这些方法的输出是与神经网络相结合,和模型训练给正确的标签。这种方法在本文中不包括池层或考虑斑块之间的关系。杨et al。25)使用深主动学习框架减少注释工作。这是充分结合卷积网络和主动学习。人等。26)提出了结合MRI多通道信息cnn扩展到三维,这是由多个模式形成三维原始数据。
在我们的论文中,我们使用图像增强,运营商和形态测量学方法来提取不同组织的精确轮廓5日核磁共振图像数据集。之后,我们利用卷积神经网络实现图像的自动分割与深度学习。这种方法大大减少了处理时间比其他方法。我们也引入了并行计算,进一步加快处理速度。我们的工作有很大的潜在诊断脑部疾病的医学领域。
剩下的纸是组织如下。节2,我们描述数据集、模型和训练方法。我们的实验以及与其他方法的比较中讨论部分3。部分4总结了纸。
2。材料和方法
2.1。数据集
我们的数据集包括5个病人的大脑核磁共振T1-W图像。为每一个病人,我们有160图片,共有800张图片。图像的大小为256×256像素。每个像素值的矩阵是一个0到255之间的整数。图2展示了一些典型的人类大脑的磁共振成像。核磁共振数据用于支持本研究的发现可以从相应的作者。
2.2。预处理
由于大脑结构的同谋,存在很多重叠的区域在每个先生的形象。图像预处理可以提高算法的效率和分割结果的可靠性。图像降噪(27)和增强可以使图像更符合以供查看。通过移除明亮的头骨,我们可以避免从大脑的影响分割的准确性。图像降噪直接影响分割的结果。
小波域去噪是用于转换噪声信号从时域小波域10利用多尺度变换)。我们删除了噪声的小波系数尺度来获取信号的小波系数。最后,由小波变换重构信号。降噪后的图像保留了原始图像的细节,和视觉效果变得更加清晰。直方图均衡化方法用于提高脑脊液的形象,灰质和白质。
我们收集所有800核磁共振图像的灰度级和生成一个柱状图,其中包含所有的点,如图3。结果显示4山峰,每个代表一种组织(28]。背景灰度值在图中没有显示,但小于35。从柱状图,我们可以消除像素灰度级范围的不通用,WM,脑脊液、头颅。我们将它们转换为0级,以降低噪音。柱状图显示了四个阈值,它代表这四个组织。看来我们只能使用这个结果部分的图像。然而,也有一些限制。阈值通常不考虑图像的空间属性。例如,头骨的形状是圆的,坐落在其他组织。同时,组织的灰度级不得限制在一个地区。 The grey level of GM may be in the CSF region depending on the location. Thus, the result may not be accurate by only using the threshold as an analysis measuring method.
2.3。卷积神经网络
卷积神经网络(cnn)最近喜欢一个巨大的成功在图像识别和分割。cnn的基本结构由两层组成。一个是特征提取层(C1, C3)。每个神经元的输入连接到当地的接受域的上一层,提取局部特征。局部特征提取之后,其他人可以确定它的位置关系。另一层是特征映射网络层(S2, S4)。每个计算层由多个特征图(29日]。特征映射是一个平面;所有神经元的权重都是平等的。特征映射结构采用乙状结肠功能(30.)的激活函数卷积网络。此外,网络的自由参数的数量减少,因为重量由神经元表面映射共享。CNN中的每个卷积层紧密遵循当地平均水平计算层和第二次提取。这种独特的提取结构降低了分辨率特性。
C1层(图4)是一种卷积层有六个特征图。图中的每个神经元功能是连接到5∗5输入。的大小特征图28所示∗28。S2是一个池层有六个14∗14个特征。每个单元的功能连接映射到2∗2社区中相应的功能映射C1。每个单元的四个输入被添加在S2和乘以可训练参数,以及一个可训练的偏移量。2∗2接受域的每个单元不重叠,所以每个特征图的大小在S2是1/4大小的C1。
C3层也是一个卷积层使用一个内核的5×5卷层S2。特征映射神经元只有10×10但16个不同的卷积核。因此,有16个特征图。每个地图C3由6个或几个特征图谱的S2。为什么我们不连接每个特性的地图S2 C3是不完整的连接机制的连接数量保持在一个合理的范围内。此外,它破坏了网络的对称。因为不同的特征图有不同的输入,它迫使他们提取不同的特征。S4层是一个池层,由十六5∗5大小特征图。每个单元的功能连接映射到2∗2社区中相应的功能映射C3,一样的C1和S2。F6层有84个单位和完全连接到C5层。最后,输出层由欧几里得径向基函数的单元,每个单元有84的输入。
卷积的输出层和卷积的内核和上层的输出: 在哪里层数,卷积核,是偏见,是输入,是选择功能映射。
池层中的输入和输出的数量是相同的,而地图的维数降低:
CNN的参数设置如下(图5)。神经网络分为三层:输入层是许多4∗4像素单位,第二层是6内核函数的卷积层3∗3,第三层是采样下来层有六个2∗2像素单元。最后,稳定的网络训练后的参数。在每一层,有很多2 d平面元素,每个2 d平面元素有许多独立的神经元。输出有6个像素,因此提取深度特性数据。我们用亚当算法学习方法。我们最初的学习速率0.001和0.5的势头。我们使用了交叉熵作为损失函数。训练我们的CNN 50时代,每个20亚世组成。我们的批量大小是5。训练样本是随机选择的800图片:600图像训练,100图像进行验证,100图像进行测试。
2.4。并行计算
MPI是许多超级计算软件框架的核心31日]。我们使用一个咖啡的框架,采用MPI。MPI集群使版本优化数据平行于咖啡。它支持命令行、Python和MATLAB接口和各种编程方法。英特尔CPU信息(R)至强(R) @ 2.60 GHz CPU e5 - 2670 0。我们800年的矩阵转换成一个大矩阵,大小800∗65536年。此外,我们添加了一行将图像的数字。每一行是一个形象。第一个数字在每一行的索引图像。一个矩阵的图像数据放在一起。因此,处理涉及的所有图像。我们采用主从模式(32]。它包括两个过程:主处理器负责处理工作指令(33]。奴隶们执行主处理器分配的工作。
在我们的工作中,一个节点充当主节点,负责数据分区和分配。本地数据的其他节点完成计算并将结果返回给主节点。如图6,主节点首先读取数据和分配给其他节点,然后选择每个集群的中心。奴隶们计算每个点的距离数据块的中心,然后每个点的聚类,计算所有的点之间的距离之和的每个集群中心的集群,最后这些结果返回给主。集群中心代表组织在通用汽车,WM, CSF和头骨,这是空间坐标。我们使用欧氏距离找到集群中心的组织特性,分别设置参数= 0.5,拿出50%的特征点最近的功能中心指出,准确地描述不同类型的定量特征的数据。主节点将计算新的中心点,发送到其他流程和计算其他流程的所有点的聚类中心的距离的总和。这个流程将继续,直到所有集群的距离之和是恒定的。
3所示。结果
3.1。组织分割
我们的工作显示了一些令人满意的结果(图7 (b))。左列是原始图像的图像。他们表现出一个完整的大脑组织的MRI图像和其他部分如面部头骨,肌肉,和耳朵。后删除头除了大脑的其他部分被认为是噪音,我们成功地一个大脑图像分割成4图像。在每一个图像,我们组织的灰度值设置为255,背景为0。
(一)
(b)
头骨的结果显示了一个弯曲的形状位于大脑的前沿。脑脊髓液之间的部分头骨和灰质和白质。灰质和白质也准确地分割。
测试效率的方法,我们也没有预处理分割。如图7(一),结果包括大量的噪音大脑不包括部分如鼻子、眼睛和其他面部结构。
3.2。对比可见中国人类(VCH)
相比我们的结果是逐像素的图像分割由一个专家。数字转换我们的结果,我们计算每个组织的比例相比,人类的大脑,然后到可见中国人头(VCH)模型(34]。VCH模型是一个很好的演示的解剖结构。它主要是用于建模光传播(35]。它可以帮助计算脑组织的体积,因为光的强度变化而传播。VCH模型是由高分辨率cryosectional彩色照片参考成年男性的36,37]。它包括各种类型的组织从一个站冷冻人的身体。部分精度水平间隔0.02厘米,和数字彩色图像每个像素的分辨率0.01厘米,高于CT和MRI (38]。因此,它是一种最真实头模型,其中包含精确大脑皮质折叠几何(39]。
数据如表所示1。总的来说,我们的结果是相当令人满意的。我们设法找到边界和段组织准确(图8(一个))。然后我们计算灰质和白质之间的比例和比较VCH结果,给予95%的准确性(图8 (b))。这可以用于诊断疾病如脑萎缩,这是由灰质和白质的减少造成的。我们的结果之间仍存在一些偏差和地面真理。这是由于剩下的噪音和算法的不足。大脑的核磁共振数据集包含了狭缝图像而不是捷径,只显示了一个完整的头,而不是大脑。因此,将产生更多的噪音的另一部分。采取通用的百分比,例如,除了大脑的某些部分有相同的灰度值作为通用汽车,这增加了总比例的通用汽车。进一步的研究,我们将使用数据集从BrainWeb在线界面,提供了一个3 d MRI-simulated大脑数据库(40]。它还为用户提供了一个模糊模型来估计局部体积和是一个很好的方法来验证我们的方法的准确性。
(一)
(b)
为灰质和白质之间的比例,我们比较我们的结果与VCH模型,以及一些研究。巴特利特等人介绍了交互式分割()方法获得通用汽车的体积和WM从核磁共振图像41]。通用电气等人研究了年龄和性别的影响在通用和WM卷采用容积成像先生在健康成人(42]。平均结果也显示在表2。
我们也计算了Jaccard指数对于每个组织,如表所示3。
我们的地面实况是中国人类可见的。我们之间的系数计算结果和地面真理。我们的方法在分段CF表现良好,通用汽车、和WM,优于方法从Hasanzadeh et al。44和罗等。26]。
3.3。与FreeSurfer
为进一步的实验中,我们比较我们与FreeSurfer的结果。FreeSurfer是分析和可视化的软件构建的结构和功能神经影像数据横向或纵向研究43]。结果如图所示9。我们的方法也有很多优点。FreeSurfer只能定位WM和通用汽车从核磁共振图像。同时,它不能显示不同的结果,除了WM。WM的形象有许多缺陷:它有许多miss-labeling error-labeling,如图像中白色斑点。我们的方法比这个软件性能更好;我们还可以每个组织明确细分,分别显示结果。
3.4。运行时
通过引入并行计算,我们设法减少运行时。我们采用主从模式。一个节点充当主节点,负责数据分区和分配。本地数据的其他节点完成计算并将结果返回给主节点。这是很重要的,在面对大数据。我们的结果不是重要的数据大小的限制。数据集越大,结果越好。图10显示了一个可视化的趋势运行时的结果。
4所示。讨论和结论
我们使用图像增强、运营商和形态测量学方法提取准确的轮廓四个组织:颅骨、脑脊液(CSF)、灰质(GM),和白质(WM) 5日MRI图像数据集。然后,我们意识到自动图像分割与深度学习利用卷积神经网络。方法(如区域、纹理和直方图阈值算法和模糊c均值(FCM)在处理时间有限制,精度,数据集(16]。在我们的论文中,每个组织计算的百分比,它可以用作标准诊断疾病,如脑萎缩时,通常由灰质和白质(减少8]。我们还利用并行计算来减少运行时。
在我们的方法中,预处理步骤提高算法的效率和分割结果的可靠性。小波域去噪用于噪声信号从时间域变换到小波域(10利用多尺度变换)。我们删除了噪声的小波系数尺度来获取信号的小波系数。这样,算法的效率和分割结果的可靠性提高。
我们介绍了卷积神经网络对我们的工作。CNN包含两种类型的层,一层卷积和一个池层。多个特征图谱生成卷积后从卷积层。之后,每组的像素特征映射通过添加修改加权值和偏移量,随着乙状结肠函数得到特征映射在池层。与多个卷积和汇聚层,我们可以得到更准确的结果在更短的时间相比,手动和半自动分割。我们还利用并行计算来进一步减少流程的运行时。我们采用了主从模式通过设置一个节点是主节点,负责数据分区和分配,以及与其他节点完成本地数据的计算并将结果返回给主节点。
我们比较我们的结果与中国的数据可见人类(VCH)头模型(34]。VCH模型给出了一个很好的演示的解剖结构和主要用于建模光传播(35]。收集到的数据从高分辨率cryosectional颜色参考成年男性的照片。它包括各种类型的组织从一个站冷冻人的身体,包括精确的大脑皮质折叠几何(37]。它给了我们一个平均的比例每个组织(颅骨、脑脊液、灰质和白质)在大脑中。结果的偏差小于2.21%。另一个重要指标是WM通用的比率,这有助于在评估大脑的某些病理变化。我们的结果也很满意,准确率高达95%。我们的数据集包括5与160年人类的大脑图像。因此,结果是令人信服的。我们的工作集中于组织之间的总百分比;我们没有比较我们与其他研究边界的准确性。进一步的研究,我们将更加专注于比较从BrainWeb边界和使用数据集,这是一个网络接口,提供3 d MRI-simulated大脑数据库。 It provides a fuzzy model for users to estimate the partial volume and is a good way to verify the accuracy of our method.
我们的研究有一些局限性。首先,由于时间有限,我们的数据集不是很大。我们还将增加的数量和品种的样品,包括不同种族,如黑色,白色和黄色的人在未来。我们还需要收集样本来自不同的年龄,从婴儿,青少年,老人。目前,我们的数据集只包含成人。有一个更大的数据集,我们可以分类样本到年龄,性别,种族,和更多。我们希望建立一个医疗诊断的判断标准。研究人员和医生可以比较病人的大脑数据和我们的数据证实大脑组织的异常比例,进一步诊断疾病的病人。
最后,我们提出一个方法来成功部分大脑组织使用卷积神经网络从核磁共振。百分比结果非常接近平均人类大脑VCH生成的数据模型。这是一个突破,因为人工智能和机器学习已经变得越来越广泛应用于研究。通过引入深度学习治疗领域,可以提高速度和准确性。这是因为机器可以自动分析数据,可以更快比手动和半自动和准确的分析。对于未来的工作,我们可以想象的轮廓的边界不同组织在3 d,以便它可以集成光学仿真软件MCVM等低级光线疗法。我们的工作有很大的潜力在医学领域,我们希望我们的技术可以为诊断标准的判断。
数据可用性
核磁共振数据用于支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究得到了国家自然科学基金项目(没有。61675039),中国国家重点研发项目(2017 yfb1302305和2017 yfb1300301号),天津自然科学(没有的关键项目拨款。18 jczdjc32700),凸轮为医学科学(没有创新基金。2016 - i2m 3 - 023)。