文摘

脑瘤最致命、最难以治疗的各种形式的癌症。脑部肿瘤的术前分类有利于发展相应的治疗方案。以垂体肿瘤为例。精确的手术前判断垂体肿瘤纹理的图像数据可以提供手术方案的选择和预后的基础。然而,现有的方法需要手动干预,效率和精度不高。在本文中,我们提出了一个自动脑瘤纹理不均匀的序列图像数据的诊断方法。首先,对垂体瘤MRI图像数据的小样本,T1和T2序列数据不均匀或失踪;我们使用了CycleGAN模型来执行数据之间的转换不同领域获得一个完全采样MRI空间序列。然后,我们使用纹理分析+ pseudo-label垂体肿瘤学会标签数据的一些未知的标签。之后,我们使用了改进的基于CBAM U-Net模型优化垂体肿瘤图像数据的特征提取。 Finally, we used the CRNN model to classify the degree of pituitary tumor texture based on the advantages of sequence data. The entire process only needs to provide labels for the entire sequence data, and the efficiency is greatly improved, with an accuracy rate of 94.23%.

1。介绍

脑部肿瘤,包括各种颅内肿瘤,分为良性和恶性的。近年来,颅内肿瘤的发病率一直在上升。据统计,颅内肿瘤占全身肿瘤的5%和70%的儿童肿瘤。由于其肿胀和浸润生长,一旦占据一定空间的头骨,无论是在本质上是良性或恶性的,它将不可避免地增加颅内压,压缩脑组织,造成中枢神经系统损害,危及患者的生命。以垂体肿瘤为例。垂体肿瘤是最常见的颅内肿瘤之一。垂体瘤有严重的疾病负担,其涉及神经外科治疗,生物治疗和放射治疗(1]。垂体肿瘤的柔软和密度相关的许多关键问题,如是否需要手术,使用什么样的手术,什么是预期手术效果。然而,由于颅腔的性质,往往很难确定垂体肿瘤手术前的柔软。因此,如何准确地确定柔软的垂体肿瘤无创的方式已经成为一个重要的问题(2]。医学成像技术的发展,核磁共振成像(MRI)、计算机断层扫描(CT)和其他成像方法已经成为一个重要的协助医生诊断的依据。因此,它是很有价值的挖掘深度定量信息(如柔软的垂体肿瘤),临床医生不能检测用肉眼从医学图像。

随着人工智能技术的普及,学习是越来越多地用于医学图像处理。b .周和周”栏目3)提出了快速磁共振成像重建dual-domain复发性网络。这种网络是可以恢复的 - - - - - -空间和图像在同一时间,最后重建高质量的磁共振成像。Balakrishnan et al。4)提出了VoxelMorph框架变形成对医学图像配准,从而加速医学图像的分析和处理。桥本et al。5)开发了一种新方法的癌症亚型分类基于卷积神经网络(CNN)结合多实例,域对抗,和多尺度学习框架。深度学习的autoencoder是一种无监督模式可自动从医学图像中提取许多深功能数据集。顾et al。6)提出了一个上下文编码器网络二维医学图像分割。这个网络编码器模块由一个特性,一个上下文提取器、译码器模块和功能,可以提取更先进的信息和空间信息。这些结果都表明,autoencoder具有良好的实用性和鲁棒性在图像特征提取和模型的效率。因此,它非常适合使用autoencoder作为特征提取器在医学图像处理。

这些类型的深度学习往往需要大量的标记数据。然而,由于隐私问题、医疗图像数据在实践中经常使用小样本不完整的标签。这激励我们在本文中提出一个基于CycleGAN semisupervised脑肿瘤图像分类方法,pseudo-label,优化的特征提取。我们使用CycleGAN背后的基本原理是,医学图像通常是不完整的,通常有数据丢失。CycleGAN使我们产生额外的数据来弥补错过的。同时,医学图像往往无标号,使分类更有挑战性的任务。为了解决这个问题,我们的想法是使用纹理分析的方法+ pseudo-label学习标签。此外,我们提出一种新的特征提取器基于改进U-Net脑部肿瘤特征的提取和采用一些关注机制和执行自适应优化。特征提取器可以有效地从医学图像中提取特征。最后,对于序列数据,我们的方法优化的特征序列输入基于卷积递归神经网络——(CRNN)分类器完成脑部肿瘤的分类结构。 In this paper, we use MRI of the pituitary tumor as an example for experiments.

2。方法

2.1。理论基础

2.1.1。Pseudo-Label学习

Pseudo-label semisupervised学习方法学习。Pseudo-label学习指的是使用现有的标签数据训练模型,然后,利用模型来预测和标签标记数据。Pseudo-label学习一般包括三个步骤。首先,使用带安全标签的数据训练模型,然后使用该模型进行标签预测无标号数据,最后使用pseudo-labeled数据和标签数据对模型进行再培训。

2.1.2。格勒乌

封闭的复发性单元(格勒乌)(7]是一种RNN,其内部结构类似于LSTM。格勒乌使用一个更新和复位登机口。与LSTM相比,它有一个门,所以它是容易计算。格勒乌被广泛使用,因为它可以实现相同的功能作为LSTM同时减少参数。

2.1.3。CBAM

卷积块关注模块(CBAM) (8]是一种注意力机制模块。它结合了渠道和空间,所以它有一个更好的效果比关注机制,只关注渠道。卷积与CBAM结构层的输出结果将首先通过频道关注模块,然后通过空间注意模块得到最终结果。CBAM可以使模型更加注意有效的特性,从而提高特征提取的效率,因此模型的准确性。

2.2。垂体瘤序列数据使用CycleGAN放大

垂体肿瘤患者的MRI图像通常由不同形式的空间序列,如T1WI、T2WI, T1C, T2FLAIR。垂体肿瘤数据集用于本文主要由T1和T2空间序列图像。在实际的垂体瘤MRI图像采集,由于各种现实原因,如数据丢失,数据在特定领域(如T2)通常是失踪。为了补充这些缺失的数据,我们需要生成另一个域的基于图像的图像域,然后将它们合并生成一个更完整的数据集。

CycleGAN [9)可以将两个域的图像转换为彼此。CycleGAN包括两个发电机和两个鉴别器。针对垂体肿瘤数据的特征,我们选择CycleGAN完成补充缺失的数据。它可以帮助我们完成双向转换从T1域T2域T1和T2域的域。CycleGAN生成器和鉴频器的网络结构中使用这个实验数据所示1和2,分别。的卷积层发生器由Conv2D、漏水的ReLU,正常化和实例。前三个反褶积层包括UpSampling2D, Conv2D, ReLU,正常化和实例,最后反褶积层由UpSampling2D Conv2D和双曲正切。的卷积层鉴别器由Conv2D、漏水的ReLU,正常化和实例。通过T1域和T2的相互转换领域,我们扩大了12片的数量在每个域,使共24为每个患者垂体肿瘤的图像,形成一个完整的数据集。

2.3。数据扩增方法基于纹理分析和Pseudo-Label学习

有374例垂体瘤影像数据在这个实验中,但只有137例有柔软和灵活的标签。为了扩大垂体肿瘤数据,提高数据利用率,我们使用一个纹理分析方法+ pseudo-label学习标签剩余的237张不带标签的垂体肿瘤数据。

我们首先对垂体瘤标记图像进行纹理分析,提取它们的纹理或统计等功能,找到决定性的参数。然后,我们使用这些参数作为参考标准标签无标号数据分析。为了提高标签的准确性,我们通过纹理分析提取数据标签的一部分并与真正的标签的一部分数据合成一个新的标记训练集。然后,我们用这个新数据集来训练模型;在这里,我们选择了格勒乌模型。最后,我们使用了训练格勒乌模型预测无标号数据,生成最终的标签,并完成pseudo-label学习。具体的过程如图3。

步骤1。使用纹理分析方法标签标记垂体肿瘤数据。

步骤2。随机抽取50%从237例pseudo-label数据数据。

步骤3。随机抽取20%的137例带安全标签的数据作为测试集和合成新的训练集数据和119例pseudo-label数据。

步骤4。使用格勒乌模型训练新的训练集。

第5步。使用训练模型来预测237例无标号数据获取最终的数据标签。

2.4。垂体肿瘤纹理分类基于自适应优化纹理提取

我们将垂体肿瘤图像的分类模型分成两个部分:特征提取和最终分类。垂体肿瘤的特征提取,我们采用了一种基于改进特征提取器U-Net并添加CBAM编码器和译码器。最后分类中,我们使用一个CRNN-based分类器。

2.4.1。自适应优化特征提取

特征提取器,编码器由密集的街区,一个 卷积的层,和一个 AvgPooling层用于提取垂体瘤MRI序列数据的特点。每个密集块由4卷积层64、64、128年,分别和128内核。内核卷积每层的大小 。每个卷积层使用漏ReLU作为激活函数。密集的街区可以提高垂体肿瘤图像的特性传播能力由于密集的连接,而卷积层和池层是用来降低维数。整个编码器使用两个如此密集的街区。

解码器由残块,upsampling层和卷积层和用于生成一个空间序列与原始图像相同的空间维度。每个残块由4卷积层64、64、128年,分别和128内核。内核卷积每层的大小 。每个卷积层使用漏ReLU作为激活函数。剩余块用于压缩特征维数的地图,和upsampling层和卷积层是用来执行维度升级操作。剩余结构的使用可以帮助我们增加网络的深度,同时避免消失的梯度,从而提高MRI空间序列重建的影响。整个译码器使用两个这样的残块。跳过之间的连接也用编码器和译码器。从每个获得的特征图卷积层左边U-Net网络将连接到相应的upsampling层使用跳过连接。跳过连接的使用可以更好地整合低层特征和高层特征,以避免信息丢失。

最后,为了进一步提高特征提取的准确性,我们添加了U-Net CBAM上述改善。我们添加了CBAM编码器和译码器。编码器的功能序列输出将由CBAM优化,然后传递到解码器解码作为输入。

我们将垂体肿瘤图像序列输入编码器生成特征序列,并用CBAM进一步优化。然后,我们使用译码器来重建空间序列。最后,我们将生成的图像与原始图像在像素级别。更具代表性越相似的两人,提取的特征序列,结果表明,该模型已经学会垂体瘤的特征图像序列。这是整个特征提取过程,提取的特征序列将用于进一步的分类。

2.4.2。Multisequence垂体肿瘤分类模型

垂体肿瘤图像特征序列提取CBAM_U-Net是一个低维的数据序列,这是严格的顺序排列的图像片。因此,我们使用CRNN-based分类器的最终分类,垂体瘤质地。CRNN由CNN和RNN和相邻切片可以捕获信息,哪个更适合序列数据。CBAM_U-Net-based我们输入特性映射序列中提取的特征提取器到CRNN-based分类器获得垂体肿瘤纹理的分类结果。

最后multisequence垂体肿瘤纹理分类模型如图4。

3所示。结果

3.1。实验平台和数据集

实验运行环境如下:操作系统是Windows, 2.10 GHz Intel Xeon处理器(双核心),内存容量64 GB,开发环境是PyCharm Keras深度学习框架,Python编程语言是,5显卡GeForce RTX 2080 ti(3芯)。

垂体肿瘤图像数据集用于我们的实验是由当地的附属医院。每个病人都包含两种形式:T1和T2。总共有374名患者,其中有137标签(90软质地,47硬纹理)。每个病人的垂体肿瘤图像的标签分为两个层次:柔软的质地和纹理。

3.2。CycleGAN-Based Multisequence数据放大

在这个实验中使用的374名患者的图像数据包括280 T1 MRI空间序列和94 T2 MRI空间序列。T2 MRI空间序列严重丢失。90年我们训练CycleGAN时代使用图像序列的完整的数据和使用培训CycleGAN模型增强垂体肿瘤的图像数据不完整的T1或T2序列。域转换器转换T1 / T2域T1到T2 /域。最后,我们扩大了每个病人的切片到24 (T2 12 T1片,12片)。图5显示现有的测试结果对T1和T2图像。

这个数字5显示了原始的现有对T1和T2 CycleGAN图像和图像转换。我们可以看到,转换后的图像非常类似于原始图像在相应的领域。

3.3。放大的垂体肿瘤数据基于纹理分析和Pseudo-Label学习

在374例垂体瘤图像数据由CycleGAN放大,只有137例有标签,其余无标号。为了扩大实验数据,提高数据利用率,我们使用了纹理分析+ pseudo-label学习方法将剩下的237垂体肿瘤数据。

3.3.1。纹理分析

在这个实验中,FireVoxel软件被用来提取感兴趣的区域(ROI)垂体肿瘤,如图6。

根据文献[10- - - - - -12),提取的特征参数FireVoxel软件主要的意思是,标准差,不均匀性,偏态、峰态和熵。我们进行独立 - - - - - -测试这些参数。当 ,它表明,参数都具有统计学意义。

实验使用SPSS 22.0软件进行统计分析。其中,峰度(T1)、非均匀性(T2),和熵(T2)是具有统计学意义。这些特征的ROC曲线如图7。

具体数据如表所示1:

从数据可以看出,表的熵值T2模式更有效判断垂体肿瘤的柔软和灵活的纹理。分析后,有一个判断熵统计值,也就是3.91。当垂体瘤的熵值小于3.91,它是很难判断。当它大于3.91时,判定为柔软,和237例垂体瘤没有标签贴上这一标准。

3.3.2。Pseudo-Label学习

后标记分析的垂体肿瘤质地特性,我们使用了pseudo-label学习方法进一步评估纹理分析,最终的标签标签扩展数据集。使用的实验数据标签的一部分通过纹理分析和部分数据与实际标签合成一个新的训练集训练格勒乌模型。格勒乌模型的训练过程中使用pseudo-label训练数据所示8和9。当时代达到了55,模型聚合并达到最优。

我们使用了训练模型来预测237例无标号数据,预测结果如图10。

有200例软材质的标签和37例硬纹理标签。我们集成pseudo-labeled数据带安全标签的数据时,终于共有374例垂体瘤数据,其中290例软和84例硬。

3.4。垂体肿瘤纹理图像分类基于自适应优化的特征提取

数据增加和pseudo-label标签后,本文使用基于CBAM_U-Net特征提取器从预处理垂体肿瘤图像数据中提取特征,并使用一个CRNN-based纹理分类的分类器。为了保证特征提取器的有效性,我们训练CBAM_U-Net模型和U-Net模型150时代的比较。网络使用一个自适应的时刻估计实现优化器(亚当)和均方误差(MSE)损失函数。最初的学习速率是设置为10⁻⁵批量大小的4。模型的训练过程如图11。

从这些数据可以看到,当模型训练150时代,CBAM_U-Net特征提取模型的准确性高于U-Net特征提取模型和损失是更快的收敛速度和最小值较低。可以看出添加CBAM使改进U-Net模型在无监督特征提取更优越。

我们把三种垂体肿瘤图像序列(multisequence、T1和T2) CBAM_U-Net特征提取,然后将结果放入CRNN训练,并把他们分成三种模式,即multisequence模型,域模型T1, T2域模型。CRNN分类器是使用一种自适应实现的时刻估计优化器(亚当)和交叉熵损失函数(CE)。批处理大小设置为10。我们比较实验。(1)T1域模型:只有MRI空间序列T1域使用的实验,包括核磁共振T1域由CycleGAN生成的空间序列(2)T2域模型:只有MRI T2域的空间序列是用于实验,包括核磁共振T2域的空间序列由CycleGAN生成的(3)Multisequence模型:MRI空间的T1和T2序列域被用于实验,包括核磁共振T1和T2序列空间域由CycleGAN生成的

数据12- - - - - -14的训练过程T1域,T2域,分别和multisequence模型。

如数据所示,我们垂体肿瘤图像数据分为训练集(80%)和一组测试(20%)。标签数据集的测试集是随机选择的,不包含pseudo-labeled数据。实验重复了4次在T1域中,T2域,multisequence域。我们记录了每个分类精度和AUC (95% CI)来计算最终的均值和方差。的详细信息如表所示2。

表3显示了分类精度和AUC (95% CI)之前和之后的放大pseudo-label数据。

此外,实验不仅增加CBAM编码器和解码器还CBAM添加到不同的地方,如编码器或跳过连接比较其不同的影响。最终结果如表所示4。从表中可以看出,效果是最好的,当CBAM添加编码器和译码器。

3.5。与其他模型相比

深度学习的应用和发展,出现了许多优秀的特征提取模型。肿瘤特征提取的质量对最终的分类结果有很大的相关性。为了进一步说明垂体瘤的有效性基于CBAM_U-Net分类方法,我们重新实现一些常用的分类模型对大脑肿瘤的图像数据。表5显示了分类模型的分类结果摘要和一些常用的分类模型对大脑肿瘤的图像数据。所有的结果都是基于相同的交叉验证方案和测试集。

从表中可以看出,模型结合基于CBAM_U-Net特征提取器和基于CRNN分类器分类精度最高。改进的编码器和解码器可以帮助我进一步的图像的信息。跳过连接可以结合低级和高级特性。CBAM可以加强传播特性,减少与肿瘤无关的冗余信息,并专注于有用的信息。CRNN可以捕获相邻切片序列数据的信息。这些技术的结合使我们能够在一定程度上提高分类模型精度和减少网络计算。此外,本文分类模型更适合小型比起比医学图像数据集的基于变压器模型,往往需要大量的数据。这个比较实验显示了巨大的潜力和良好的应用前景的方法分级垂体肿瘤质地。

4所示。讨论

本研究设计了一系列实验分类脑瘤纹理和垂体瘤的MRI作为一个例子。首先,对于不完整的序列数据,本研究使用CycleGAN增加垂体肿瘤的成像数据缺乏T1或T2序列。CycleGAN T1 / T2序列转化为T2 / T1序列。本文测试了它在现有对T1和T2图像来验证方法的成功。纹理特征提取转换T1 / T2序列更接近T2 / T1序列。其次,我们利用纹理分析的方法+ pseudo-label学习标签标记垂体肿瘤图像数据。该方法首先使用纹理分析最初的标签标记数据,然后使用GRU-based pseudo-label学习完成pseudo-label标签。该方法结合了统计特性和machine-learned特性来提高pseudo-label标签的可靠性和垂体肿瘤数据的利用率。本研究使用FireVoxel软件来提取纹理特征参数的分析pseudo-label标签的一部分。总共有12个基本特征从T1和T2图像中提取和筛选后的有用特性用于最初的标签标记数据。 In future work, we will devote to extracting more texture features and selecting features that are more relevant to brain tumor texture for pseudo-labeling.

本文提出了一种无监督特征提取器基于改进U-Net垂体肿瘤图像序列的特征提取。特征提取器使用密集的街区和剩余块优化特征提取提取更具代表性的特性。在实验中,垂体肿瘤图像序列输入特征提取器的编码器译码器的特征提取,然后恢复。生成的图像序列与原始输入图像序列。相似的两个,越多越好提取的特征。本文还介绍了CBAM特征提取器。注意机制可以帮助模型关注有用的信息和抑制无用的信息,提高特征提取的可靠性和效率模型。CBAM是一个注意力机制,注重空间和渠道。而注意力机制,只关注某一个方面,它有一个更好的效果。在未来的工作中,我们还将尝试改善更多的关注机制提高分类模型在本文提出。 Finally, we input the extracted pituitary tumor features into the CRNN-based classifier for the final pituitary tumor texture classification. The entire classification model is end-to-end without the need for tumor presegmentation. In addition, this method is based on image sequences rather than 2D (slice) methods. We repeated the experiment 4 times and tested it on the labeled test set to obtain the classification accuracy and AUC (95% CI). Experimental results and comparative experiments show that our method has advantages in the classification of pituitary tumor texture. This method can also be applied to other types of brain tumors, such as glioma.

为大规模multisequence MRI数据或多中心研究,pseudo-label标签方法基于纹理分析和特征提取器提出了也适用,可以用来提供直接输入到其他分类方案。总之,本文提出的方法可以应用于实际临床研究协助医生诊断和提高医生的诊断的效率。然而,成像设备用于不同的国家和地区都是不同的,所以仍存在一些差异成像和随后的纹理分析。此外,由于医学图像的隐私,很难收集各种各样的大型数据集。因此,设计一个更通用的模型仍然是未来的研究方向。

5。结论

本文提出一种基于pseudo-label脑瘤纹理分类方法学习和优化特征提取和垂体肿瘤作为一个例子。实验最终实现了94.23%的平均精度和0.976的平均AUC (95% CI)。比较实验表明,与现有方法相比,我们的方法有更多的优势,可以提高分类效率,同时提高了分类精度。这项研究显示了巨大的潜力和良好的应用前景,帮助脑部肿瘤的临床诊断方法。

数据可用性

在生成的数据集和分析在当前研究由于医院数据机密性但不公开可从相应的作者合理的请求。

伦理批准

我们已获得许可从成像部门徐州医科大学的附属医院,和研究徐州医科大学的伦理委员会批准。我们需要声明的是,垂体肿瘤数据集用于我们的研究遵循中国政府所需的所有程序的定律。数据已经被那些负责严格审查等问题,以及所有敏感信息已被删除。研究纯粹是为研究目的,没有任何利益纠纷。

同意

我们从所有参与者获得口头知情同意在研究中根据参与者的意愿。对于未成年人,我们已获得他们的父母或法定监护人的同意。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是由江苏医疗卫生委员会研究项目(通过授予Z2020032),由项目2020年大学生创新计划(通过授予202010313014 z),和自然科学基金会中国江苏高等教育机构(通过授予19 kjb520017)。