研究文章|开放获取
Qixuan太阳,Nianhua方,卓Liu梁赵Youpeng温家宝,鸿祥林, ”HybridCTrm:桥接CNN和变压器多通道脑图像分割”,医疗保健工程, 卷。2021年, 文章的ID7467261, 10 页面, 2021年。 https://doi.org/10.1155/2021/7467261
HybridCTrm:桥接CNN和变压器多通道脑图像分割
文摘
多模态医学图像分割在医学图像分割一直是一个至关重要的问题。传统的深度学习方法充分利用cnn对编码图像,从而导致缺乏长程相关性和坏的泛化性能。比起最近,一系列的基于变压器方法在图像处理领域的出现,这让伟大的泛化和性能在不同的任务。另一方面,传统的有线电视新闻网有自己的优势,比如快速收敛和局部表示。因此,我们分析一个混合多通道分割方法基于变压器和cnn和提出一个新颖的建筑,HybridCTrm网络。我们进行实验使用HybridCTrm两个基准数据集和与HyperDenseNet相比,基于完全cnn的一个网络。结果表明,我们的HybridCTrm优于HyperDenseNet大部分的评价指标。此外,我们分析的深度的影响变压器的性能。此外,我们可视化结果和认真探索如何改进分割我们的混合方法。
1。介绍
医学图像分割是一个重要的区域在医学图像分析和诊断和治疗是必要的,其目的是将图像中每个像素。出于深度学习的最近的成功,研究人员在这个领域也试图应用基于深度学习医学图像分割方法,包括U-Nets [1- - - - - -6)和完全cnn (7- - - - - -13]。这些方法取得了优越的性能比传统方法在医学图像分割任务。为了获得更准确的分割对于高级诊断,使用多通道医学图像已经越来越普及。与单一的图像相比,多通道图像有助于从不同的视图和带来的额外信息,提取特征导致不同的数据表示和区别的电力网络。以前作品通常遵循一个完全CNN架构,CNN的患有天生的缺陷。这些缺点包括缺乏在提取非局部特性和糟糕的泛化。随着变压器的发展在语言处理,比起这些的基于变压器也吸引太多的注意在图像处理方法14- - - - - -18),包含分类、检测和分割。这些成功的应用程序显示了伟大的能力比起的非局部特征提取的基于变压器结构图像。然而,它不能被直接利用多模态医学图像分割。这些作品有pretrained各种图像和生成的先验知识和表示。Pretraining self-supervised和辅助一步,比起至关重要的基于变压器的方法,因为这些方法无法轻易提取足够的意义表示通过简单的任务,因此需要从Pretraining先验表示。然而,多通道医疗缺乏图像分割任务,因此不能遵循pretraining策略。
为了解决这些问题,我们设计一个名叫HybridCTrm混合架构结合优势从cnn和变压器。具体地说,这些网络编码图像从CNN和变压器,两个平行的和独立的路径,然后整合表征解码和分割。这样,cnn生成和控制当地表示梯度下降法的快速收敛,而变压器提取非局部特性和避免过度拟合和局部最优的postperiod培训。针对完全测试我们的方法,我们提出了两种融合策略,即单一路径策略和多路径策略,并应用我们的方法在这两个不同的策略。实验,结果表明,我们的方法可以有效地克服美国有线电视新闻网和《变形金刚》的缺点,我们显示一个伟大的多通道的性能改善医学图像分割任务。此外,我们可视化结果和认真探索如何改进分割我们的混合方法。
2。相关的工作
2.1。多模态医学图像分割基于cnn
多模态医学图像分割来源于医学图像分割任务,这两个目标实现为一个输入图像进行像素级分类。传统的医学图像分割方法一般遵循encoder-decoder架构,如U-Net [5和完全CNN12]。在这些结构中,一个编码器解码器时通常是用来提取功能恢复特性和输出最终的分割提取预测。U-Net [5)已被广泛用于医学图像分割,包括卷积、池、skip-connection。克等。2]扩展U-Net架构3 d图像的应用,提出了3 d U-Net。Milletari et al。4]提出V-Net,剩余为更深层次的网络连接。同样,Yu et al。1]提出VoxResNet,李et al。3肖)提出3 drunet, et al。6]Res-UNet求婚。在多模态医学图像分割领域,研究人员通常应用完全CNN架构。有效地使用信息从不同的形式,聂et al。11)提出了一种新的完全CNN架构的多通道婴儿脑组织分割。Kamnitsas et al。10单独训练三个完全cnn然后平均每个网络的信心。陈等人。7)提出了一个dual-pathway完全CNN multimodal脑瘤分割网络。王等人。13)提出了一种级联各向异性卷积网络。Dolz et al。19)提出了一个3 d完全基于DenseNets CNN (8]。
2.2。基于变压器的图像处理
变形金刚第一次被应用于自然语言处理任务。Vaswani et al。20.)提出了机器翻译attention-pure架构叫变压器和句子解析。Devlin et al。21提出伯特,一个双向变压器两步训练pretraining和微调。布朗et al。22训练一个更大的变压器。比起最近,一系列的基于变压器方法在图像处理领域出现(14- - - - - -18]。其中,视觉变压器(16和检测变压器14)是最重要的。检测变压器制定了检测任务作为一个连续的预测。视觉变压器(ViT)裁剪图像序列的小补丁,旨在适应原来的变压器的结构。维特证明它的力量在远程依赖和表现出极大的性能,因此被视为一个强大的支柱。
3所示。方法
3.1。体系结构概述
在多模态医学图像分割的目的是为每个像素分配标签不同形式的给定的输入图像。我们建议两个混合架构多通道医学图像分割如图1。具体来说,我们提出两个模型基于两种不同的策略:单一路径策略和多路径策略。图1(一)描述了一个单一路径的策略是如何工作的。我们把MRI-T1 MRI-T2作为输入模式。这两个模式x1,x2结合多通道图像x1、2然后用旋转编码的图像米层和变形金刚n层。表示分别从这两个编码器生成并为后续解码独立和集成。多路径的策略是非常类似于单一路径,输入不同的方式和图1 (b)告诉的区别。MRI-T1 ( )和MRI-T2 ( )收集与独立的编码器,编码表示。多路径网络可以有效地结合,充分利用这些信息从不同的形式和特点,而单路一个更关注于如何不同的方式相互作用。我们工作中最关键的部分是,我们使用变压器和旋转,作为两个单独的编码器,我们将仔细描述编码器在其余的部分。
(一)
(b)
3.2。卷积编码器
为了避免梯度消失和爆炸,DenseNets [8]skip-connections申请直接将每一层添加到后续层。提到的启发点,我们保持这个想法卷积编码器。
如图2,一个卷积层由四个部分组成,批处理规范化,PReLU, 333卷积核,skip-connection。它是计算如下: 在哪里的输出是什么 - - - - - -卷积和层是这一层的输入。特别是,当代表第一层 ,然后是输入的图像。多路径的策略,它代表一个形态在哪里不大于形态号码吗 。同样的,代表输入模式的结合当涉及到单一路径模型。
3.3。变压器编码器
避免过度拟合和缺乏外地依赖性产生完全cnn,我们应用变压器编码多通道图像和模型的泛化。《变形金刚》(20.]被首先应用于自然语言处理,最近一部小说变压器结构命名的愿景变压器(ViT) [16提出了]。维生素在图像分类任务表现很好和很快被接受作为图像处理的常见的脊椎。
受生命的启发,我们修改和应用变压器多重模态医学图像分割如图3。首先,我们重建三维图像 为一系列三维立方体夷为平地 ,在哪里序列的长度是: 在哪里 的高度、宽度、深度和起源的3 d频道形象吗 。多路径模型, 因为每个输入图像代表一个单一的形态。为单一路径模型,是形态数量 。 是数据集的大小。
我们得到一个补丁序列从上面的方程。变压器应用一个常数的大小每个隐层的维度。因此,我们线性项目来维度和添加一个位置嵌入补丁包埋: 在哪里是一种可习得的投影参数和是一种可习得的位置向量。位置嵌入一样的尺寸吗 。具有十分重要的图像处理由于变压器不生成位置信息,需要补充输入。输出,补丁包埋 ,被视为输入变压器的第一层。
之后,投入是一个多层变压器: 在哪里和输出和输入的吗 - - - - - -变压器层编码器。LN(归一化层)是一种常见的设计在变压器和FFN(前馈网络)包括两个PReLU线性预测和非线性激活函数。MHSA(多线程Self-Attention)是《变形金刚》的关键部分,仔细在下面描述。
不同于常见的变压器在图像处理领域像维特16),我们修改LN的位置。熊等。23]证明了训练时更稳定的正常化块出现在残块。在我们的工作中,多通道的医学图像分割不能利用pretraining过程如维特和因此导致训练时波动较大。因此,我们这个修改变压器架构应用于网络。
MHSA(多线程Self-Attention)是《变形金刚》的核心,它可以被视为一堆几个简单的关注网络。一个简单的注意机制可以计算如下: 输入的多次复制然后分离为独立问(查询)K(钥匙),V(值)与他们的维度 , ,和 ,分别。
多个叠加使用简单的关注可以专注于不同的陈述不同的子空间。因此,MHSA项目问,K,V到不同的子空间,独立进行关注与输出: 预测参数矩阵在哪里 ,和 。 是变形金刚的每个隐层的维度。
3.4。译码器
我们使用 - - - - - -层的输出变压器编码器和 - - - - - -层CNN编码器的输出从变压器和CNN表示提取的特征。然后,我们把这些功能整合进一个矩阵 : 在哪里代表concat操作。然后,功能发送到译码器组成的吗层与批处理规范化、PReLU和111卷积核,计算如下: 最后的输出层发送到Softmax函数最后分割。
3.5。损失函数和学习速率衰减
我们应用一个共同的熵函数作为我们的成本函数。让表示网络参数和像素的标签在 - - - - - -图像分割。我们优化如下: 在哪里是将softmax网络的输出像素和类 ,当输入部分 。
我们利用余弦学习速率衰减,衰减策略: 在哪里 代表学习速率、最大的学习速率,分别和最小的学习速率。是递归和迭代号码是当前迭代的数字。
4所示。结果与讨论
我们进行我们的实验两个基准数据集,MRBrainS [24)和iseg - 2017 (25]。医学图像分割都是多通道数据和关注分段三种类型的大脑组织,包括白质(WM),灰质(GM)和脑脊液(CSF)。他们之间,MRBrainS triple-modal分割数据集和iseg - 2017是一个double-modal。
4.1。实验设置
而子卷的大小 被认为是培训中,我们使用吗 不重叠的子卷在推理,如(19,26,27]。我们讨论了给定图像的裁剪和压扁在前面的部分。其中,多维数据集的大小,计算成本和性能是至关重要的。当 ,MHSA可以计算每个像素。然而,它会导致高计算成本和超越有限的GPU资源。有一个大 ,变压器不能有效地捕获功能。基于这两点,我们集 。变形金刚,我们将头部设置为4,隐藏的维度是128,和深度4根据实验性能。初始化权重卷积的路径,我们采用策略提出了28),产量快速收敛很深的架构。在这一战略中,零均值高斯分布的标准差用于初始化层的重量吗 ,在哪里表示层的单位的连接数量。最初的学习速率( )将1e−4。余弦衰减,是5e−5和是50。考虑到GPU资源有限,我们将批量大小设置为32。
我们比较模态与几个完全CNN-based架构,包括fCNN [12),(27),(27],HyperDenseNet [19]。fCNN [12)是第一个方法,应用cnn分割任务。然后,Dolz et al。27)设置一个较小的内核隆起和呈现两种方法包括传统的和多尺度。HyperDenseNet [19)是一种常用的fCNN-based法在多通道图像分割任务。这些模型可以有效地与我们的混合模型相比,HybridCTrm。相当与基线相比,我们用两种策略进行实验,分别单路和多路,设置一个后缀,如- multi和单一,为每个方法。
我们应用骰子相似系数(DSC)作为评价指标,常见的分割评价方法(19,26,27]:
5。结果MRBrainS
我们MRBrainS leave-one-out-cross-validation申请five-sample数据集,也就是说,四个样本训练和测试。我们报告三组织DSC (CSF,通用和WM)和他们的平均水平。
5.1。主要结果
表1总体结果显示我们的方法和基线MRBrainS,得分最高的每一列是大胆的。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
一般视图显示,我们的混合网络达到每个指标上的得分最高。有一个清晰的对比,我们首先比较两个简单路径模型。我们与HyperDenseNet大多比较我们的方法,因为这个模型对每个执行CNN-based架构之间的最佳策略。与HyperDenseNet-Single相比,HybridCTrm提高约3%,1%,和26%在WM,通用,分别和CSF。同时,平均得分表现为10%。对于多路径模型,CSF HybridCTrm-Multi提高4%和18%,相比HyperDenseNet-Multi WM组织。然后,我们专注于同一个模型的性能在不同的策略。通用汽车和CSF分段组织,多路径策略是更合适的,而单一路径在WM表现更好。这可能推断,不同形式的分段通用和CSF信息,需要独立编码,然后相互集成,而对于WM恰恰相反。
5.2。分析Hyperparameters
为了更好地分析变压器对性能的影响,我们进行实验和不同深度的变压器设置。
图4显示深度如何影响性能单路和多路径模型。HybridCTrm-Single, DSC到达峰值平均深度为4。曲线增加首先然后下降随着深度的增加从1到5。HybridCTrm-Multi,峰值到达的深度5和新潮的曲线非常相似,从上升到下降。这类似的趋势可能是因为不同深度捕捉不同表示形式和一个合适的深度可以提取分割的最有效的信息。
5.3。烧蚀研究
我们的混合架构由一个CNN编码器和变压器编码器获取本地和外地特性分割。CNN和变压器分支研究如何影响我们的混合模型,我们进行消融研究。如表所示2我们单独的CNN分支和变压器分支,分别基于单一路径模型和多路径模型。删除CNN分支后,意味着DSC针对单一和多策略下降约48%和46%,分别虽然下降约16%和13%,消除变压器分支。这表明与变压器分支相比,CNN分支更重要,因为外地特征提取的变压器编码器细分发挥辅助作用。
|
||||||||||||||||||||||||||||||||||||||||||||||||||
5.4。用双通道辅助实验
进一步分析分割不同的形式的重要性,我们选择两个模式和双通道进行辅助实验。
如表所示3,三个形式表现的更好的结果比两种形式。然而,仔细比较结果清楚地表明,基于T1和T2-FLAIR模式最低性能下降(只有2% -3%),表明这两种方法具有较强的互补性。其他两个模态的组合、T1和T1-IR T1-IR T2-FLAIR,显示显著的性能退化(10% - -13%),表明T1-IR形态并没有带来更多的信息。CSF的性能,进一步比较通用,WM组织显示的性能组合的T1和T2-FLAIR CSF和WM可比的三个模式下相应的策略。和前下甚至比后者高0.6%多路径策略,这表明在这两个模式的信息足以段CSF和WM组织。这表明这两种形式的信息足以段CSF和WM组织。相反,转基因组织分割的性能是最好的只有三个模式中的信息是完整的,有5% - -6%的退化在其他两个方法的结果。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5.5。结果iseg - 2017
我们把iseg - 2017和10个样本数据集分为训练集(火车),一组开发(dev),和一个测试集的比率(测试)8:1:1。详细的结果展示在表4,每一项大胆的最大值。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5.6。主要结果
首先,我们HybridCTrm网络优于7八个指标在所有这些方法。与HyperDenseNet-Single相比,HybridCTrm-Single优于所有指标。这是因为单路径策略中的信息集成在一开始,和变压器结构可以完全模型这个复杂的信息。在多路径策略,HybridCTrm-Multi也优于HyperDenseNet-Multi 7个指标,进一步验证变压器的建模能力。然而,获得大不如单一路径模型。这可能是因为每个形态的信息内容是小,所以变压器不能用有力的归纳学习足够的功能,如CNN的偏见。
5.7。泛化和稳定性的分析
已经得出的结论是,混合模型比纯fCNN模型小,我们也担心模型的稳定性和泛化性能。
图5显示了两种模型的性能发展集和验证集的两种策略下后每5时代。左边的面板显示了两种模型的性能在单一路径策略。红线代表HybridCTrm和蓝线代表HyperDenseNet,同时实线代表性能发展集和测试集上的虚线代表。可以看出HybridCTrm总是比HyperDenseNet在两个模型的早期和晚期阶段训练,和它可以得出结论,混合结构可以收敛速度高于fCNN结构下的单一路径策略。与此同时,在模型训练的中、晚期,它可以发现训练基于HyperDenseNet不稳定,有时突然下降,虽然HybridCTrm更稳定。多路径的策略,HybridCTrm明显比HyperDenseNet早期和中期培训阶段,表明前者可以提供更快的收敛下多路径策略。的稳定性HyperDenseNet略优于HybridCTrm在中期和后期阶段的训练。这可能是因为模型中间学会了足够的优点和晚期的训练,并进一步学习更困难的变压器分别利用每个模态信息。因此,可能会有一些坏的功能层的变压器,导致模型的稳定性下降。HyperDenseNet, CNN的特性更加稳定,因此不产生大的波动。另一方面,在后期还允许轻微的不稳定随机模型来了解更多,避免陷入局部最小值,导致全球泛化性能差。
5.8。可视化
进一步探索不同模型的优缺点和偏好细分内容,分割结果显示部分测试集进行视觉分析。
图6(一个)显示了一个分段2 d部分。帧地区,CSF组织(蓝色部分)显示条纹分布,而HyperDenseNet表现在CSF单一路径策略和多路径策略。相反,HybridCTrm CSF分割表现良好,特别是在单一路径策略,CSF的连续钢筋分布反映。通用汽车组织(绿色部分),HyperDenseNet分类很大一部分的灰质WM(黄色部分)并生成大量的“粘连”在WM地区。HybridCTrm,另一方面,有一个良好的性能在通用和更好地反映轮廓结构,表明混合结构充分利用了长距离依赖。
(一)
(b)
图6(b)显示了另一个细分,我们专注于前脑部分:盒装区域图中。我们可以看到,有一个明确的目标地区通用的途径,这是missegmented WM HyperDenseNet组织,但在HybridCTrm更好的分割。与此同时,在最右边的盒子,有一小块CSF组织,这是不分段下HyperDenseNet-Single HyperDenseNet-Multi下最小分割。HybridCTrm,这部分也分段。
6。结论
探讨混合网络的应用程序基于cnn和变压器多通道医疗领域的分割,提出了一种新型多通道医学分割架构,HybridCTrm。提出了两种多通道分割策略,即单一路径策略和多路径策略。在实验中,HybridCTrm架构测试在两个基准数据集在单路和多路策略和与HyperDenseNet相比,一个架构完全基于完全cnn。HybridCTrm优于HyperDenseNet在大多数指标。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
确认
这项工作得到了国家自然科学基金(61906030)、辽宁省自然科学基金(2020 - bs - 063),中央大学和基础研究基金(DUT20RC(4) 009年)。
引用
- d·h . Chen气、l . Yu和中国。恒,“Voxresnet:深voxelwise残余网络体积大脑分割,“2016年,https://arxiv.org/abs/1608.05895。视图:谷歌学术搜索
- O。Cicek a . Abdulkadir s s里恩坎普这样说道,t . Brox o . Ronneberger,“3 d U-net:学习密度体积分割从稀疏的注释”医学影像计算和计算机辅助Intervention-MICCAI 2016美国Ourselin, j .狮子座m . r . Sabuncu g . Unal和w·威尔斯,Eds。施普林格国际出版,纽约,纽约,美国,2016年。视图:谷歌学术搜索
- j . k . Lee郑氏,p, v . Jain和h·塞巴斯蒂安Seung“超人的准确性在SNEMI3D——挑战,”2017年,https://arxiv.org/abs/1706.00120。视图:谷歌学术搜索
- f . Milletari:布,a . Seyed-Ahmad”V-net:完全卷积神经网络容量医学图像分割”学报》2016年第四次国际会议3 d视觉(3 dv)斯坦福大学,页565 - 571年,CA,美国,2016年10月。视图:谷歌学术搜索
- o . Ronneberger、p·费舍尔和t . Brox”U-net:卷积网络生物医学图像分割”医学影像计算和计算机辅助Intervention-MICCAI 2015:布,j . Hornegger w·m·威尔斯和a . f . Frangi Eds。施普林格国际出版,纽约,纽约,美国,2015年。视图:谷歌学术搜索
- 肖x l .沈z,罗,s .李”为高质量的视网膜血管分割、加权res-unet”学报》2018年第九届国际会议在医学和信息技术教育(时候)杭州,页327 - 331年,中国,2018年10月。视图:出版商的网站|谷歌学术搜索
- y l . Chen, a . m . DSouza a . z . Abidin a . Wismuller和c,“肿瘤MRI分割紧密连接的3 d与CNN,”2018年医学成像:图像处理,10574卷、e·d·Angelini和b a·兰德曼Eds。,International Society for Optics and Photonics, Bellingham, WA, USA, 2018.视图:谷歌学术搜索
- 黄g . l . van der Maaten z . Liu温伯格和问:克里安。”在密集连接卷积网络。《IEEE计算机视觉与模式识别会议(CVPR)2017年7月美国檀香山,HW。视图:谷歌学术搜索
- j .西蒙·m·Drozdzal d·巴斯克斯a·罗梅罗和y Bengio,“一百层提拉米苏:完全语义分割、卷积DenseNets”《IEEE计算机视觉与模式识别会议(CVPR)研讨会2017年7月美国檀香山,HW。视图:谷歌学术搜索
- k . Kamnitsas w·巴姨,大肠费et al .,”乐团多个模型和体系结构的健壮的脑部肿瘤分割,”Brainlesion:神经胶质瘤、多发性硬化、中风和创伤性脑损伤h . Kuijf, b . Menze和m·雷耶斯,Eds。,Springer International Publishing, New York, NY, USA, 2018.视图:谷歌学术搜索
- y高n, l . Wang, d .沈”完全卷积网络多模isointense婴儿脑部图像分割,”学报2016年IEEE 13生物医学成像(位ISBI)国际研讨会,页1342 - 1345,布拉格,捷克共和国,2016年4月。视图:谷歌学术搜索
- e . Shelhamer j .长,t·达雷尔“完全卷积网络语义分割,”IEEE模式分析与机器智能,39卷,不。4、640 - 651年,2017页。视图:出版商的网站|谷歌学术搜索
- w·g . Wang, s . Ourselin, t··维”自动脑瘤使用级联各向异性卷积神经网络分割,”Brainlesion:神经胶质瘤、多发性硬化、中风和创伤性脑损伤a . Crimi,白痴,h . Kuijf b . Menze和m·雷耶斯,Eds。,Springer International Publishing, New York, NY, USA, 2018.视图:出版商的网站|谷歌学术搜索
- n . Carion f·马萨,g . Synnaeve n . Usunier a . Kirillov和s . Zagoruyko“端到端对象检测与变压器,”电脑Vision-ECCV 2020,女孩,a . Vedaldi h . t . Brox和人类。弗拉姆,Eds。,Springer International Publishing, New York, NY, USA, 2020.视图:谷歌学术搜索
- a . m . Chen雷德福,r .孩子et al .,“从像素,生成pretraining”美国第37机器学习国际会议上,体积119机器学习研究的程序h . Daume三世和a·辛格,Eds。2020年7月,页1691 - 1703。视图:谷歌学术搜索
- a . Dosovitskiy l·拜尔,k .亚历山大et al .,“形象价值16 x16词:变形金刚在规模,为图像识别”美国学习国际会议上表示2021年10月,里斯本,葡萄牙,。视图:谷歌学术搜索
- 林z . Liu y, y曹et al .,”斯温变压器:层次视觉变压器使用了windows,”2021年,https://arxiv.org/abs/2103.14030。视图:谷歌学术搜索
- 郑,j . Lu h .赵et al .,“从sequence-to-sequence角度反思语义分割与变压器、”《IEEE / CVF计算机视觉与模式识别会议(CVPR)2021年6月,页6881 - 6890。视图:谷歌学术搜索
- j . Dolz k . Gopinath j .元,h . Lombaert c . Desrosiers和本·德,“Hyperdense-net:综合图像分割hyper-densely连接CNN,“IEEE医学成像,38卷,不。5,1116 - 1126年,2019页。视图:出版商的网站|谷歌学术搜索
- 答:Vaswani: Shazeer: Parmar et al .,“注意你所需要的,”31日学报》国际会议在神经信息处理系统中,少量的17岁,页6000 - 6010,柯伦Associates Inc,红钩,纽约,2017年12月美国。视图:谷歌学术搜索
- j·德夫林,硕士。Chang k·李,和k Toutanova,”伯特:训练的语言理解的深度双向变形金刚”NAACL-HLT, 2019年,https://arxiv.org/abs/1810.04805。视图:谷歌学术搜索
- t·b·布朗,b .曼:赖德et al .,“语言模型few-shot学习者,”2020年,https://arxiv.org/abs/2005.14165。视图:谷歌学术搜索
- r·熊y杨,d .他et al .,“在变压器结构层正常化,”2020年,https://arxiv.org/abs/2002.04745。视图:谷歌学术搜索
- a . m . Mendrik k . l . Vincken h . j . Kuijf et al .,“MRBrainS挑战:在线评价脑图像分割框架3 t MRI扫描,”智能神经科学文章ID 813696卷,2015年,16页,2015年。视图:出版商的网站|谷歌学术搜索
- d . l . Wang聂,g . et al .,“基准自动六个月大的婴儿大脑分割算法:iseg - 2017的挑战”IEEE医学成像,38卷,不。9日,第2230 - 2219页,2019年。视图:出版商的网站|谷歌学术搜索
- d·何塞·c·Desrosiers, i b·德”3 d完全卷积网络皮层下在MRI分割:一个大型研究,“科学杂志卷,170年,第470 - 456页,2018年。视图:出版商的网站|谷歌学术搜索
- k . Kamnitsas c . Ledig v f·j·纽康比et al .,“有效的多尺度三维CNN与大脑病变完全连接CRF准确分割,“医学图像分析36卷,第78 - 61页,2017年。视图:出版商的网站|谷歌学术搜索
- k . x张,他任美国,j .太阳”深入深入整流器:超越人类ImageNet分类、性能”《IEEE计算机视觉国际会议(ICCV)圣地亚哥,智利,2015年12月。视图:出版商的网站|谷歌学术搜索
版权
版权©2021 Qixuan太阳等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。