多模态医学图像分割来源于医学图像分割任务,这两个目标实现为一个输入图像进行像素级分类。传统的医学图像分割方法一般遵循encoder-decoder架构,如U-Net [ 5和完全CNN 12]。在这些结构中,一个编码器解码器时通常是用来提取功能恢复特性和输出最终的分割提取预测。U-Net [ 5)已被广泛用于医学图像分割,包括卷积、池、skip-connection。克等。 2]扩展U-Net架构3 d图像的应用,提出了3 d U-Net。Milletari et al。 4]提出V-Net,剩余为更深层次的网络连接。同样,Yu et al。 1]提出VoxResNet,李et al。 3肖)提出3 drunet, et al。 6]Res-UNet求婚。在多模态医学图像分割领域,研究人员通常应用完全CNN架构。有效地使用信息从不同的形式,聂et al。 11)提出了一种新的完全CNN架构的多通道婴儿脑组织分割。Kamnitsas et al。 10单独训练三个完全cnn然后平均每个网络的信心。陈等人。 7)提出了一个dual-pathway完全CNN multimodal脑瘤分割网络。王等人。 13)提出了一种级联各向异性卷积网络。Dolz et al。 19)提出了一个3 d完全基于DenseNets CNN ( 8]。

变形金刚第一次被应用于自然语言处理任务。Vaswani et al。 20.)提出了机器翻译attention-pure架构叫变压器和句子解析。Devlin et al。 21提出伯特,一个双向变压器两步训练pretraining和微调。布朗et al。 22训练一个更大的变压器。比起最近,一系列的基于变压器方法在图像处理领域出现( 14- - - - - - 18]。其中,视觉变压器( 16和检测变压器 14)是最重要的。检测变压器制定了检测任务作为一个连续的预测。视觉变压器(ViT)裁剪图像序列的小补丁,旨在适应原来的变压器的结构。维特证明它的力量在远程依赖和表现出极大的性能,因此被视为一个强大的支柱。

在多模态医学图像分割的目的是为每个像素分配标签不同形式的给定的输入图像。我们建议两个混合架构多通道医学图像分割如图 1。具体来说,我们提出两个模型基于两种不同的策略:单一路径策略和多路径策略。图 1(一)描述了一个单一路径的策略是如何工作的。我们把MRI-T1 MRI-T2作为输入模式。这两个模式 x¹, x²结合多通道图像 x^1、2然后用旋转编码的图像 米层和变形金刚 n层。表示分别从这两个编码器生成并为后续解码独立和集成。多路径的策略是非常类似于单一路径,输入不同的方式和图 1 (b)告诉的区别。MRI-T1 ( x 1 )和MRI-T2 ( x 2 收集)编码与独立的编码器和表示。多路径网络可以有效地结合,充分利用这些信息从不同的形式和特点,而单路一个更关注于如何不同的方式相互作用。我们工作中最关键的部分是,我们使用变压器和旋转,作为两个单独的编码器,我们将仔细描述编码器在其余的部分。

为了避免梯度消失和爆炸,DenseNets [ 8]skip-connections申请直接将每一层添加到后续层。提到的启发点,我们保持这个想法卷积编码器。

如图 2,一个卷积层由四个部分组成,批处理规范化,PReLU, 3 ∗ 3 ∗ 3卷积核,skip-connection。它是计算如下: (1) x l = Conv 3 ∗ 3 ∗ 3 PReLU BN x l − 1 , x l − 1 , 在哪里 x l 的输出是什么 l 卷积和th层 x l − 1 是这一层的输入。特别是,当 l 代表第一层 l = 1 ,然后 x 0 是输入的图像。多路径的策略,它代表一个形态 x 我 在哪里 我 不大于形态号码吗 n 。同样的, x 0 代表输入模式的结合 x 1、2 , … , n 当涉及到单一路径模型。

避免过度拟合和缺乏外地依赖性产生完全cnn,我们应用变压器编码多通道图像和模型的泛化。《变形金刚》( 20.]被首先应用于自然语言处理,最近一部小说变压器结构命名的愿景变压器(ViT) [ 16提出了]。维生素在图像分类任务表现很好和很快被接受作为图像处理的常见的脊椎。

受生命的启发,我们修改和应用变压器多重模态医学图像分割如图 3。首先,我们重建三维图像 x ^ 0 ∈ ℝ H × W × D × C 为一系列三维立方体夷为平地 x p ∈ ℝ N × P 2 ⋅ C ,在那里 N 序列的长度是: (2) N = H W D P 2 , 在哪里 H , W , D , C 的高度、宽度、深度和起源的3 d频道形象吗 x ^ 0 。多路径模型, C = 1 因为每个输入图像代表一个单一的形态。为单一路径模型, C 是形态数量 n 。 P 是数据集的大小。

我们得到一个补丁序列 x p 从上面的方程。变压器应用一个常数的大小 D 每个隐层的维度。因此,我们线性项目 x p 来 D 维度和添加一个位置嵌入补丁包埋: (3) x 0 = W x p + x pos , 在哪里 W 是一种可习得的投影参数和 x pos 是一种可习得的位置向量。位置嵌入 x pos 一样的尺寸吗 x p 。具有十分重要的图像处理由于变压器不生成位置信息,需要补充输入。输出,补丁包埋 x 0 ,被视为输入变压器的第一层。

之后, x 0 投入是一个多层变压器: (4) x tmp = MHSA LN x l − 1 + x l − 1 , x l = = FFN LN x tmp + x tmp , 在哪里 x l 和 x l − 1 输出和输入的吗 l th层变压器编码器。LN(归一化层)是一种常见的设计在变压器和FFN(前馈网络)包括两个PReLU线性预测和非线性激活函数。MHSA(多线程Self-Attention)是《变形金刚》的关键部分,仔细在下面描述。

不同于常见的变压器在图像处理领域像维特 16),我们修改LN的位置。熊等。 23]证明了训练时更稳定的正常化块出现在残块。在我们的工作中,多通道的医学图像分割不能利用pretraining过程如维特和因此导致训练时波动较大。因此,我们这个修改变压器架构应用于网络。

MHSA(多线程Self-Attention)是《变形金刚》的核心,它可以被视为一堆几个简单的关注网络。一个简单的注意机制可以计算如下: (5) 丙氨酸 问 , K , V = softmax 问 K T d k V , 输入的多次复制然后分离为独立 问(查询) K(钥匙), V(值)与他们的维度 d 问 , d k , d v ,分别。

多个叠加使用简单的关注可以专注于不同的陈述不同的子空间。因此,MHSA项目 问, K, V到不同的子空间,独立进行关注与输出: (6) MHSA 问 , K , V = Concat 头 1 , … , 头 h W O , 在哪里 头 我 = 丙氨酸 问 W 我 问 , K W 我 K , V W 我 V , 预测参数矩阵在哪里 W 我 问 ∈ ℝ d 模型 × d k , W 我 K ∈ ℝ d 模型 × d k , W 我 V ∈ ℝ d 模型 × d v , W O ∈ ℝ h d v × d 模型 。 d 模型 是变形金刚的每个隐层的维度。

我们使用 l th层变压器编码器的输出 x l trm 和 k th层CNN编码器的输出 x k 美国有线电视新闻网 从变压器和CNN表示提取的特征。然后,我们把这些功能整合进一个矩阵 x f : (7) x f = x l trm ⊕ x k 美国有线电视新闻网 , 在哪里 ⊕ 代表concat操作。然后,功能 x f 发送到译码器组成的吗 l 层与批处理规范化、PReLU和1 ∗ 1 ∗ 1卷积核,计算如下: (8) x l f = Conv 1 ∗ 1 ∗ 1 P 再保险 l U B N x l − 1 f , 最后的输出层 x l f 发送到Softmax函数 p x 最后分割。

我们应用一个共同的熵函数作为我们的成本函数。让 θ 表示网络参数和 y 年代 v 像素的标签 v 在 年代 届图像部分。我们优化如下: (9) J θ = − 1 年代 ⋅ V ∑ 年代 = 1 年代 ∑ v = 1 V ∑ c = 1 C δ y 年代 v = c ⋅ 日志 p c v x 年代 , 在哪里 p c v x 年代 是将softmax网络的输出像素 v 和类 c ,当输入部分 x 年代 。

我们利用余弦学习速率衰减,衰减策略: (10) η t = η 最小值 + 1 2 η 马克斯 − η 最小值 1 + 因为 T 坏蛋 T 我 π , 在哪里 η t , η 马克斯 , η 最小值 代表学习速率、最大的学习速率,分别和最小的学习速率。 T 坏蛋 是递归和迭代号码 T 我 是当前迭代的数字。

而子卷的大小 27 × 27 × 27 被认为是培训中,我们使用吗 35 × 35 × 35 不重叠的子卷在推理,如( 19, 26, 27]。我们讨论了给定图像的裁剪和压扁在前面的部分。其中, P 多维数据集的大小,计算成本和性能是至关重要的。当 P = 1 ,MHSA可以计算每一个像素。然而,它会导致高计算成本和超越有限的GPU资源。有一个大 P 、变压器不能有效地捕获功能。基于这两点,我们集 P = 3 。变形金刚,我们将头部设置为4,隐藏的维度是128,和深度4根据实验性能。初始化权重卷积的路径,我们采用策略提出了 28),产量快速收敛很深的架构。在这一战略中,零均值高斯分布的标准差 2 / n l 用于初始化层的重量吗 l ,在那里 n l 表示层的单位的连接数量。最初的学习速率( η 马克斯 )被设置为1 e−4。余弦衰减, η 最小值 是5 e−5和 T 坏蛋 是50。考虑到GPU资源有限,我们将批量大小设置为32。

我们比较模态与几个完全CNN-based架构,包括fCNN [ 12), 美国有线电视新闻网 小 ( 27), 美国有线电视新闻网 小 − 女士 ( 27],HyperDenseNet [ 19]。fCNN [ 12)是第一个方法,应用cnn分割任务。然后,Dolz et al。 27)设置一个较小的内核隆起和呈现两种方法包括传统的和多尺度。HyperDenseNet [ 19)是一种常用的fCNN-based法在多通道图像分割任务。这些模型可以有效地与我们的混合模型相比,HybridCTrm。相当与基线相比,我们用两种策略进行实验,分别单路和多路,设置一个后缀,如- multi和单一,为每个方法。

我们应用骰子相似系数(DSC)作为评价指标,常见的分割评价方法( 19, 26, 27]: (11) DSC = 2 TP 《外交政策》 + 2 TP + FN 。

表 1总体结果显示我们的方法和基线MRBrainS,得分最高的每一列是大胆的。

一般视图显示,我们的混合网络达到每个指标上的得分最高。有一个清晰的对比,我们首先比较两个简单路径模型。我们与HyperDenseNet大多比较我们的方法,因为这个模型对每个执行CNN-based架构之间的最佳策略。与HyperDenseNet-Single相比,HybridCTrm提高约3%,1%,和26%在WM,通用,分别和CSF。同时,平均得分表现为10%。对于多路径模型,CSF HybridCTrm-Multi提高4%和18%,相比HyperDenseNet-Multi WM组织。然后,我们专注于同一个模型的性能在不同的策略。通用汽车和CSF分段组织,多路径策略是更合适的,而单一路径在WM表现更好。这可能推断,不同形式的分段通用和CSF信息,需要独立编码,然后相互集成,而对于WM恰恰相反。

为了更好地分析变压器对性能的影响,我们进行实验和不同深度的变压器设置。

图 4显示深度如何影响性能单路和多路径模型。HybridCTrm-Single, DSC到达峰值平均深度为4。曲线增加首先然后下降随着深度的增加从1到5。HybridCTrm-Multi,峰值到达的深度5和新潮的曲线非常相似,从上升到下降。这类似的趋势可能是因为不同深度捕捉不同表示形式和一个合适的深度可以提取分割的最有效的信息。

我们的混合架构由一个CNN编码器和变压器编码器获取本地和外地特性分割。CNN和变压器分支研究如何影响我们的混合模型,我们进行消融研究。如表所示 2我们单独的CNN分支和变压器分支,分别基于单一路径模型和多路径模型。删除CNN分支后,意味着DSC针对单一和多策略下降约48%和46%,分别虽然下降约16%和13%,消除变压器分支。这表明与变压器分支相比,CNN分支更重要,因为外地特征提取的变压器编码器细分发挥辅助作用。

进一步分析分割不同的形式的重要性,我们选择两个模式和双通道进行辅助实验。

如表所示 3,三个形式表现的更好的结果比两种形式。然而,仔细比较结果清楚地表明,基于T1和T2-FLAIR模式最低性能下降(只有2% -3%),表明这两种方法具有较强的互补性。其他两个模态的组合、T1和T1-IR T1-IR T2-FLAIR,显示显著的性能退化(10% - -13%),表明T1-IR形态并没有带来更多的信息。CSF的性能,进一步比较通用,WM组织显示的性能组合的T1和T2-FLAIR CSF和WM可比的三个模式下相应的策略。和前下甚至比后者高0.6%多路径策略,这表明在这两个模式的信息足以段CSF和WM组织。这表明这两种形式的信息足以段CSF和WM组织。相反,转基因组织分割的性能是最好的只有三个模式中的信息是完整的,有5% - -6%的退化在其他两个方法的结果。

我们把iseg - 2017和10个样本数据集分为训练集(火车),一组开发(dev),和一个测试集的比率(测试)8:1:1。详细的结果展示在表 4,每一项大胆的最大值。

首先,我们HybridCTrm网络优于7八个指标在所有这些方法。与HyperDenseNet-Single相比,HybridCTrm-Single优于所有指标。这是因为单路径策略中的信息集成在一开始,和变压器结构可以完全模型这个复杂的信息。在多路径策略,HybridCTrm-Multi也优于HyperDenseNet-Multi 7个指标,进一步验证变压器的建模能力。然而,获得大不如单一路径模型。这可能是因为每个形态的信息内容是小,所以变压器不能用有力的归纳学习足够的功能,如CNN的偏见。

已经得出的结论是,混合模型比纯fCNN模型小,我们也担心模型的稳定性和泛化性能。

图 5显示了两种模型的性能发展集和验证集的两种策略下后每5时代。左边的面板显示了两种模型的性能在单一路径策略。红线代表HybridCTrm和蓝线代表HyperDenseNet,同时实线代表性能发展集和测试集上的虚线代表。可以看出HybridCTrm总是比HyperDenseNet在两个模型的早期和晚期阶段训练,和它可以得出结论,混合结构可以收敛速度高于fCNN结构下的单一路径策略。与此同时,在模型训练的中、晚期,它可以发现训练基于HyperDenseNet不稳定,有时突然下降,虽然HybridCTrm更稳定。多路径的策略,HybridCTrm明显比HyperDenseNet早期和中期培训阶段,表明前者可以提供更快的收敛下多路径策略。的稳定性HyperDenseNet略优于HybridCTrm在中期和后期阶段的训练。这可能是因为模型中间学会了足够的优点和晚期的训练,并进一步学习更困难的变压器分别利用每个模态信息。因此,可能会有一些坏的功能层的变压器,导致模型的稳定性下降。HyperDenseNet, CNN的特性更加稳定,因此不产生大的波动。另一方面,在后期还允许轻微的不稳定随机模型来了解更多,避免陷入局部最小值,导致全球泛化性能差。

进一步探索不同模型的优缺点和偏好细分内容,分割结果显示部分测试集进行视觉分析。

图 6(一个)显示了一个分段2 d部分。帧地区,CSF组织(蓝色部分)显示条纹分布,而HyperDenseNet表现在CSF单一路径策略和多路径策略。相反,HybridCTrm CSF分割表现良好,特别是在单一路径策略,CSF的连续钢筋分布反映。通用汽车组织(绿色部分),HyperDenseNet分类很大一部分的灰质WM(黄色部分)并生成大量的“粘连”在WM地区。HybridCTrm,另一方面,有一个良好的性能在通用和更好地反映轮廓结构,表明混合结构充分利用了长距离依赖。

图 6(b)显示了另一个细分,我们专注于前脑部分:盒装区域图中。我们可以看到,有一个明确的目标地区通用的途径,这是missegmented WM HyperDenseNet组织,但在HybridCTrm更好的分割。与此同时,在最右边的盒子,有一小块CSF组织,这是不分段下HyperDenseNet-Single HyperDenseNet-Multi下最小分割。HybridCTrm,这部分也分段。