基于递归神经网络的层间相关性在MRI前列腺图像分割中的应用

抽象的

从磁共振成像（MRI）的前列腺的分割在前列腺癌诊断中起重要作用。然而，缺乏明显的边界和前列腺形状的显着变化，使自动分割非常具有挑战性。在过去几年中，基于深度学习技术的方法在前列腺细分方面取得了重大进展。但是，这些方法主要引起每一片3D卷的每个单片内的特征和上下文。结果，这种方法在分割由于有限的切片边界信息引起的前列腺的基础和顶点时面临许多困难。为了解决这个问题，在本文中，我们提出了一种深度神经网络，具有用于MRI前列腺图像分割的双向卷积复发层。除了利用IntrAslice上下文和特征之外，所提出的模型还将前列腺切片视为数据序列，并利用InterSlice上下文来帮助分割。实验结果表明，与其他报道的方法相比，该方法达到了显着的分割改善。

1.介绍

从磁共振成像（MRI）中精确地分割前列腺为临床应用提供了非常有用的信息，如计算机辅助诊断和图像引导干预措施[1］.然而，由于缺乏清晰的边界定义，以及不同患者的图像形状和纹理的显著差异，这是一项非常具有挑战性的任务[2]如图所示1．

根据模型中使用的引导信息，我们可以将现有的前列腺MRI分割方法分为四种:基于区域的、基于形状先验的、基于轮廓的、基于分类的方法[3.- - - - - -5］.托特等人[6]提出了一种用于前列腺分割的主动形状模型初始化方案，该方案利用多模态信息初始化ASM。Samiee等人[7]提出了一种利用前列腺形状先验来细化前列腺边界的模型;克莱恩(8]提出了一种基于人工匹配分割后的地图集图像的自动分割模型。

在过去几年中，基于深度学习的技术，特别是完全卷积的神经网络（FCNS），在图像分割上非常有效[9- - - - - -11.]，包括生物医学图像分割。朱等。[12.]提出了一种深度监督CNN，利用残差信息精确分割前列腺MRI。鲍及钟[13.[]提出了一种基于多尺度结构FCN模型的脑MRI分割方法。将深度学习引入生物医学图像分割的其他例子可以在[14.- - - - - -17.］.

然而，由于许多医学成像方式的各向异性性质，那些2D图像分段方法对3D的直接扩展可能不会产生令人满意的性能。解决这个问题，陈等人。[18.[提出了一种将完全卷积神经网络与扩展卷积长短期存储器（C-LSTM）组合的方法，通过同时利用FCN和RNN的抽象能力来改善3D医学图像分割性能。尽管如此，他们的模型依赖于所谓的U-Net [18.]提取图像特征。以下双向卷积LSTMS（BDC-LSTMS）仅适用于提取的特征。因此，可以丢失用于辅助图像分割的有用信息。

对于前列腺分段任务，不可逾越的挑战是专门针对APEX的图像切片，并且始终丢失明确的边界和必要信息。这种现象带来了前列腺细分的主要困难。然而，形状先前是解决这一挑战的有效方法。例如，Qin等人。[19.]提出了一种自适应形状的先前约束定向水平设定模型（ASPDL），以分割膀胱壁的内外边界并实现精确的分段结果。由于所获取的MRI图像通常具有高intrantleS分辨率并且在来自同一患者的切片之间存在高空间依赖性，我们在引导特征提取过程之前利用interslice作为形状，并从interslice中探索必要的信息来缓解信息损失如图所示2．此外，rnn体系结构在序列数据建模方面具有优越的性能[17.，20.，21］.为了提高前列腺分割的性能，本文提出了一个网络，称为UR-Net，它将前列腺切片作为一个数据序列，利用切片内的上下文和特征来辅助分割。

本文的主要贡献有两个。首先，我们将前列腺切片作为一个数据序列，利用层间形状引导特征提取过程，并从层间挖掘必要的信息。其次，我们探讨了rnn代替传统cnn提取图像特征的能力。实验结果表明，使用rnn可以显著提高前列腺分割的性能。

本文的其余部分安排如下。剖面性神经网络的架构以及所提出的网络架构的细节2．部分3.介绍了实验结果和性能评价。本节给出了结论4．

2. UR-NET

在本节中，我们首先查看经典的经常性神经网络（RNN），然后继续前进以描述RNN的扩展到长期内存（LSTM）[22]和卷积的长短期记忆（CLSTM）[18.是特定的递归神经网络。在此基础上，详细介绍了本文提出的UR-Net。

２.１.递归神经网络

经常性神经网络（RNN）在人工神经网络社区中具有悠久的历史，该社区被设计为模拟时间序列。典型RNN的架构如图所示3.．该模型在许多任务中显示出很大的前景，例如NLP [23]、非马尔可夫控制和文本任务[24］.rnn背后的思想是利用序列信息，输出依赖于前面的计算。rnn有一个记忆体，它能记住迄今为止计算出的信息。在理论25]， rnn可以记住任意长序列中的信息，并利用之前的计算，但在实践中，由于梯度消失的问题，它们只能回顾几个步骤。

在每一步 ，rnn利用输入数据和以前的隐藏状态计算下一个隐藏状态和输出通过应用以下递归操作： 在哪里是一个元素明智的非线性功能; ， ，和是隐藏状态的参数;和输出参数。

在过去的十年中，已经探索了训练RNN的几种方法，例如通过时间（BPTT）的反向化[26]，实时复发学习（RTRL）[27]并扩展基于卡尔曼滤波的技术（EKF）[28］.虽然这些训练方法可以帮助我们训练rnn，但它们面临着梯度消失的问题。

2．2.长短期记忆

为了解决rnn中梯度消失和长期依赖的问题[29] Hochreiter和Schmidhuber介绍了RNN，长期内存（LSTM）的特殊实施[22］.LSTM的体系结构如图所示4．

一个LSTM单元包括一个输入门()，遗忘之门(），输出门（）和一个存储器单元（）拥有在潜在的长时间记住或忘记信息的能力。输入门将输入数据放入存储单元中。遗忘门决定我们将要丢弃的信息形成内存单元格。输出门确定存储器单元中的哪些部分数据将输出并同时将输出数据流入网络的其余部分。

LSTM的步骤可以描述如下：LSTM模型中的第一步对应于（2)来决定应该从输入数据中丢弃哪些信息。这个决定是由遗忘门做出的;遗忘门的结构如图所示5．遗忘门具有由s形函数组成的遗忘层。从上一阶段获取数据时和输入数据 ，S形函数在单元格状态下为每个数据输出0或1 ，数字0表示完全将其投掷，而1代表存储它。

第二步是决定我们应该存储在单元格中的新信息。输入门由S形函数和TanH函数组成，如图所示6．当输入门接收到新数据时，sigmoid函数决定哪些值将被更新，tanh函数创建一个候选值 ，对应于(3.）.最后，输入门控制候选值来更新细胞状态。

当我们获取来自忘记门和输入门的信息时，我们可以使用（4）更新单元格状态。此操作可以删除一些无用的信息。

第四步是根据单元格状态决定输出什么信息。最终结果由两部分组成，第一部分来自tanh函数选择的单元格状态。第二部分来自输入数据，它将由一个sigmoid函数选择。输出门如图所示7并且计算方法是

把这些放在一起，就是离散时间的门 的计算方法如下:

标准LSTM体系结构只是为一维数据设计的。它不能直接应用于2D图像数据。为了将LSTM应用于前列腺图像，我们在模型中采用卷积LSTM (Convolutional LSTM, CLSTM)作为卷积层。这可以通过使用卷积运算符来代替矩阵乘法来实现。给出了CLSTM的核心方程 在哪里表示卷积运营商和是图层的输出;表示CLSTM在某些方向上通过切片切片的事实。

2.3。所提出的网络架构

为了有效利用层间信息，我们在深度学习网络中引入了双向卷积LSTM (BDC-LSTM)层。BDC-LSTM层由两组clstm组成，用于提取特征，如图所示8．两个CLSTM流在两个相反的方向工作。在我们的方法中，不是将每个前列腺图像序列化为连续的斑块，然后利用双向LSTM分割每个斑块，而是将每个图像视为一个整体，将三个相邻的图像切片组成一个序列。

当我们输入一个图像序列时 ， ， 进入BDC-LSTM层，如图所示8，该层将利用层间和层内信息提取前列腺特征。首先，该层提取第一个切片的特征。然后是结果和将被视为一个形状之前与之后的切片和作为输入，以指导分割过程。同时层将在相反方向上提取每个切片的特征来 ，最后，将两个不同的特征连接在一起作为下一层的输入。

我们所提出的网络架构如图所示10.．我们提出的方法的主要框架遵循U-Net的体系结构[30.]，由于U-Net可以成功提取具有合理网络深度的分段的图像特征。事实上，U-Net在许多生物医学图像处理任务中获得了最先进的性能。例如，Milletari等人。[31]提出了一种用于医学图像体积分割的全卷积神经网络，称为V-Net。该模型利用U-Net的能力来处理MRI体积。U-Net的架构如图所示9．

所提出的网络架构由左侧的收缩路径、右侧的扩展路径和底部的分类路径组成。收缩路径和扩展路径都有4个阶段，每个阶段由一个BDC-LSTM层组成。在网络的末尾增加了一个softmax层。在承包阶段，a 使用阶段为2的最大汇集操作附加到下采样，每个阶段后要素频道的数量都加倍。在相反的一侧，在膨胀阶段，第一步是上采样，这使得特征贴图的宽度和高度每次加倍，直到它们达到原始图像的大小。同时，上采样也会减少特征频道的数量。为了减少卷积期间的信息损失，使左侧承包路径的连接到右膨胀路径。连接可以提供从早期阶段提取到后期的功能，也可以加快网络的收敛。为避免过度装备，在每个阶段的末尾都添加了辍学操作。

2.4。网络目标函数

对于前列腺图像，感兴趣的解剖通常只占图像的很小一部分。这带来的问题是，网络总是忽略分割部分，变得偏向背景。这总是导致学习过程陷入局部极小。为了克服这一问题，我们采用骰子系数作为目标函数。骰子系数函数可以更关注分割部分的影响。骰子系数(DSC) [19.两个图像之间的函数可以写成 在哪里表示自动分割的结果和表示人工分割的结果。

在我们的工作中，分割的基础事实和结果是二进制图像，因此可以写入两个二进制图像之间的骰子系数DSC 表示图像中的像素总数，以及 ， 分别表示来自地面真理和分割的像素。

这种骰子的制剂可以分化产生梯度： 此外，Milletari等人。[31，证明了在克服网络陷入局部极小的问题上，差示扫描量频比相同的带logistic损失训练的网络要好得多。

3.实验结果

3.1。材料

我们的工作中使用的MRI前列腺图像如图所示11.使用Philips 3T MRI扫描仪和直肠内线圈从80例患者中获取。平面分辨率为0.3 mm × 0.3 mm，层间距离为3mm。每个患者图像体积由约26个切片组成。每个2D切片的尺寸为512 × 512像素。

3.2。培训策略

我们从80例患者中随机抽取76例进行培训，其余患者用于检测。在训练过程中，我们放入三个顺序的切片，用 ， ， 从一个病人进入网络。然后BDC-LSTM层利用两个方向的片内和片间上下文信息，一个在方向和另一个方向如图所示12.．我们的网络在前列前沿的终端训练了。并且网络框架是在开源深度学习库keras下实现的[32］.在GTX1080 GPU上进行实验，具有8 GB的视频存储器，CUDA版本为8.0。在训练阶段，学习速率最初设定为0.0001。由于内存的限制，我们选择1作为迷你批处理。所有火车形象和地面真相都被调整为256×256。

３．３．实验

为了验证带有RNN层的深度神经网络是否能够显著提高分割精度，我们还利用BDC-LSTM层对卷积神经网络进行了修改，替换了卷积神经网络内部的卷积层。这些测试图像带有相应的二值图像地面真值分割图，用于评价自动分割的性能。最后，将模型与U-Net、V-Net进行了比较[31]、完全卷积网络(fns)和改进fns。我们的网络部分分割结果如图所示13.．

3.3.1。定性比较

从分割结果中，我们选择了一些具有代表性和挑战性的图像，这些图像边界模糊，像素强度分布内外不均匀。此外，这些图像中的前列腺和非前列腺区域的强度分布相似，如图所示14.．

如第三列所示，fnc只能检测和分割部分前列腺。由于fns模型将标签分配给了一个小patch而不是每个像素，分割结果并不准确。此外，fns忽略边界信息。因此，fnc模型不能直接用于前列腺分割问题。

如第四列所示，U-Net模型的分割结果比fns更准确。由于U-Net将每个标签分配给每个像素，并且U-Net的结构可以增强信息在整个网络中的传播，提高网络性能，因此对于顶端和底部的切片，由于边界不清晰，纹理不完整，模型无法准确分割前列腺。

第五列是改良后的FCNs的结果。与原始fns相比，改进后的fns分割结果更加准确。从结果可以看出，在之前的切片的指导下，改良的fns可以检测到更多的前列腺信息。BDC-LSTM体系结构的优越性是改进FCNs的主要原因。与传统的卷积层相比，BDC-LSTM层可以从相邻切片中获取丢失的信息，提高网络的性能。

第六列是V-Net的结果。相对于FCNs和U-Net, V-Net能够充分利用体数据的三维空间信息。但由于数据和内存的限制，每次V-Net只能接收本地卷;这导致V-Net无法获得全球信息。从图14.，我们可以看到前列腺边界失去连续性和曲率。

urnet的结果显示在第七列。我们可以观察到该模型在前列腺分割方面取得了最好的结果。这可以归因于前列腺序列扫描可以提供比单个切片更多的信息。该模型利用层间信息辅助分割过程。

3.3.2。定量比较

为了定量评价分割结果，我们从三个方面计算了分割结果，如表所示1包括平均值，最大和中值DSC值。从表格1，可以看出，我们提出的模型在所有方法中得分最高。结果表明，基于BDC-LSTM层的深度神经网络在前列腺MRI图像分割中具有较好的应用前景。此外，改进后的fns与原始fns相比，分割结果更加准确。这种改进应该归功于BDC-LSTM层的优势，它先利用间隔作为形状，引导特征提取的过程，从间隔中挖掘必要的信息，减少信息的丢失，最终提高分割结果。

4。结论

在本文中，我们提出了一种具有用于MRI前列腺图像分割的RNNS层的深神经网络。与传统方法不同，我们将前列腺扫描视为序列数据。除本地功能外，我们还利用了Interslice信息来援助前列腺细分。在建议的网络中，我们将三个邻近的切片放入网络中。然后，网络在来自不同相邻切片的先前分段结果的指导下提取IntrAslice上下文。连接来自相反顺序方向的两个不同的特征图可以缓解丢失的功能。广泛的MRI前列腺图像数据集的实验结果表明，所提出的模型比最先进的卷积神经网络实现更好的性能。

利益冲突

作者声明本文的发表不存在利益冲突。

致谢

这项工作得到了中国国家自然科学基金的支持，在授权U1536204,60473023和61471274中。并且提交人士希望承认Nvidia Corporation捐赠用于该研究的Titan XP GPU。

参考文献

1. L.Gong，S。D.Tavak，D. R. Haynor，P. S. Cho和Y.Kim，使用可变形超围裙进行前列腺细分的参数形状建模，“医学成像上的IEEE交易，卷。23，不。3，pp。340-349,2004。查看在：出版商的网站|谷歌学术
2. J. Dowling，J.Fripp，P. Greer，S. Ofselin和O. Salvado，“前列腺的自动地图集地区：米奇2009前列腺细分挑战入场”医学图像计算和计算机辅助干预, 2009年。查看在：谷歌学术
3. 吴建军，蔡志强，高志强，“基于距离和属性加权的动态k近邻分类方法”，出版电子与信息工程国际会议论文集，2010， pp. V1356-V1360，日本京都，2010年8月。查看在：出版商的网站|谷歌学术
4. 吴建军，蔡振中，朱旭东，“基于自适应概率估计的朴素贝叶斯分类”2013年国际神经网络联席会议的会议记录，IJCNN 2013，pp.1-8，达拉斯，德克萨斯州，2013年8月。查看在：出版商的网站|谷歌学术
5. 吴建军，潘松，朱旭东，张超，于p.s.，“基于多结构-视图学习的图分类”，神经网络和学习系统的IEEE交易，卷。PP，没有。99，pp。1-16,2017。查看在：出版商的网站|谷歌学术
6. R. Toth, P. Tiwari, M. Rosen等人，“基于主动形状模型的前列腺分割的磁共振波谱驱动初始化方案”，医学图像分析，第15卷，第5期。2, pp. 214 - 225,2011。查看在：出版商的网站|谷歌学术
7. M. Samiee，G. Thomas和R. Fazel-Rezai，“基于流动定向的MR图像半自动前列腺分割”IEEE信号处理和信息技术国际研讨会，第203-207页，2006。查看在：出版商的网站|谷歌学术
8. S. Klein，“利用局部互信息进行图谱匹配的3D MR图像中前列腺的自动分割”，医学物理学第35期4, pp. 1407-1417, 2008。查看在：出版商的网站|谷歌学术
9. Q. Dou，H. Chen，Y.Jin，L. Yu，J.Qin和P.-A。恒，“3D深度监督网络从CT卷自动肝脏分割，”医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
10. H.Fu，Y. Xu，S.Lin，D. W.K. Wong和J. Liu，“DeepVessel：通过深度学习和条件随机场进行视网膜血管分割”医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
11. H.杨，J. Sun，H.Li，L. Wang和Z. Xu，“多atlas分段的深度融合网：应用于心脏MR图像”医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
12. Q.朱，B. du，B.Rurkbey，P.L.Choyke，以及P. Yan，“前列腺细分的深刻监督CNN”2017神经网络国际联合会议论文集，IJCNN 2017， 178-184页，安克雷奇，AK，美国，2017年5月。查看在：出版商的网站|谷歌学术
13. 关键词:脑磁共振图像分割，多尺度结构CNN，标签一致性生物力学与生物医学工程的计算机方法:成像与可视化，pp。1-5,2016。查看在：出版商的网站|谷歌学术
14. K.Fritcher，P. Raudaschl，P. Zaffino，M. F. F. Spadea，G. C. Sharp和R. Schubert，“3D医学图像快速分割的深度神经网络”，医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
15. H. Huang，X. Hu，Y.Zhao等，“通过深卷积的AutoEncoder建模任务FMRI数据”，医学成像上的IEEE交易，2017年。查看在：出版商的网站|谷歌学术
16. 吕军，林斌，张伟等，“基于监督随机坐标编码的任务fmri数据分析”，医学图像分析，第38卷，第1-16页，2017。查看在：出版商的网站|谷歌学术
17. Xie Y.， Z. Zhang, M. Sapkota, and L. Yang， " Spatial clockwork recurrent neural network for muscle perimsium segmentation， " in医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
18. J. Chen，L. Yang，Y. Zhang，M. S. Alber和D. Z. Chen，“结合了完全卷积和经常性神经网络的3D生物医学图像分割，”在NIPS诉讼中，麻省理工学院新闻，剑桥，马，美国，2016年。查看在：谷歌学术
19. “基于自适应形状先验约束水平集的图像分割，”IEEE生物医学和健康信息学杂志第18卷第2期5, pp. 1707-1716, 2014。查看在：出版商的网站|谷歌学术
20. R. Dipietro, C. Lea, A. Malpani等，“用循环神经网络识别手术活动”医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
21. R.P.K.Poudel，P. Lamata和G. Montana，“用于多切片MRI心脏细分的复发完全卷积神经网络，”医学图像计算和计算机辅助干预，2016年。查看在：出版商的网站|谷歌学术
22. S. Hochreiter和J. Schmidhuber，《长短期记忆》，神经计算，卷。9，没有。8，pp。1735-1780,1997。查看在：出版商的网站|谷歌学术
23. A.坟墓，A.-R.Mohamed，和G. Hinton，“与深度经常性神经网络的语音识别”第38届IEEE声学、语音和信号处理国际会议论文集，第6645-6649页，2013年5月。查看在：出版商的网站|谷歌学术
24. J. T. Connor, R. D. Martin, L. E. Atlas，《递归神经网络和鲁棒时间序列预测》，神经网络和学习系统的IEEE交易，卷。5，不。2，pp。240-254,1994。查看在：出版商的网站|谷歌学术
25. A.坟墓，“用复发性神经网络产生序列”，2013年，Arxiv预印迹arxiv：1308.0850。查看在：谷歌学术
26. P. J.Werbos，“通过时间的Backpropagation：它做了什么以及如何做到，”IEEE论文集第78期10，第1550-1560页，1990。查看在：出版商的网站|谷歌学术
27. R. J. Williams和D. Zipser，“持续运行完全递归神经网络的学习算法”，神经计算，卷。1，不。2，pp。270-280，1989。查看在：出版商的网站|谷歌学术
28. J. H. Lee和N. L. Ricker，“扩展卡尔曼基于滤波器的非线性模型预测控制”，工业与工程化学研究第33卷第3期6、1994年。查看在：出版商的网站|谷歌学术
29. A. J. Robinson和F. Fallside，“实用性驱动动态错误传播网络”，技术报告绪论/ F-Inveng / TR.1，剑桥大学工程系，1987年。查看在：谷歌学术
30. O. Ronneberger, P. Fischer，和T. Brox，“U-net:卷积网络用于生物医学图像分割”，出版医学图像计算和计算机辅助干预，pp。234-241,2015。查看在：出版商的网站|谷歌学术
31. F. Milletari, N. Navab, s . a。“V-Net:用于医学图像分割的完全卷积神经网络”，刊于第四届3D Vision国际会议的诉讼程序（3DV '16），pp.565-571，IEEE，2016年10月。查看在：出版商的网站|谷歌学术
32. P. Charles，项目名称。GitHub库(2013)。

版权

版权所有©2018 Qikui Zhu等。这是分布下的开放式访问文章知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。