文摘

神经胶质瘤是主要类型的成人恶性脑瘤,地位和异柠檬酸脱氢酶(IDH)突变高度影响诊断,神经胶质瘤的治疗和预后。放射医学成像提供了一种非侵入式采样国米和intralesion平台异构性神经胶质瘤,和先前的研究表明,IDH基因型可以预测融合的多峰性放射学图像。医学图像的特点和IDH基因型对治疗至关重要;然而,它仍然缺乏一个多任务的细分框架损伤神经胶质瘤和IDH基因型的预测。在本文中,我们提出一种新颖的三维(3 d)多任务分割深度学习模型和基因型预测(SGPNet)。剩余单位也引入SGPNet允许输出块提取层次特性不同的任务和促进信息传播。我们的模型可以减少26.6%的分类错误率比较与先前的模型数据集的多通道脑瘤分割挑战(小鬼)2020和癌症基因组图谱(TCGA)神经胶质瘤的数据库。此外,我们第一次实际调查的影响病变区域IDH基因型预测的性能通过设置不同组的学习目标。实验结果表明,损伤区域的信息更重要的IDH基因型的预测。我们的框架是有效的和可概括的,这可以作为一个高度自动化的工具应用在临床决策。

1。介绍

神经胶质瘤是主要类型的成人恶性脑瘤占大约80%,这可以从我分为四个等级IV根据世界卫生组织(世卫组织)(1]。尽管神经胶质瘤的频率,组织学和分子病理病因变量即使在单个类(2];因此,认识到精密医学地位是至关重要的。异柠檬酸脱氢酶(IDH)是一个通用术语IDH1和IDH2,和先前的研究已经证明了IDH基因型(野生型和突变)显示重大影响诊断,治疗和预后的神经胶质瘤患者(3- - - - - -6]。然而,识别IDH基因型活检是一种侵入性的和昂贵的过程,需要从病人的病变的细胞样本,同时放射医学成像提供了一种非侵入性抽样国米和intralesion平台异构性神经胶质瘤。先前的研究已经证明了表型相关性强(从医学图像中提取)和基因型(从基因表达中提取文件),从表型和基因型的预测成为一个快速发展的研究领域7]。

目前,构造高性能模型预测神经胶质瘤患者的基因型在医学图像。关于这个任务,一个有效的方法是基于radiomics和机器学习算法8,9]。Radiomics是一个方法,从医学图像中提取lesion-related特性由有经验的放射科医生使用专业软件和data-characterization算法(10]。高维图像的数据是由低维radiomics放射科医生处理后的特性,并使用这些radiomics特性允许研究人员构建IDH更容易预测模型。虽然radiomics基于基因型预测模型表现良好,他们仍有一定的局限性。例如,提取radiomics特性取决于放射科医生的判断是一个主观的过程,也是受环境因素影响的硬件和软件。不同的放射学家使用不同的软件和算法可能导致病变的细节的描述略有不同。此外,所有原始图片之前应处理预测阶段,和低维功能限制模型进行进一步的调查。总的来说,模型的泛化能力和再现性是有限的高度依赖于人工干预。

根据上述的观察,研究人员介绍了深度学习(DL)算法为基因型预测任务。DL,作为机器学习的一个子类(ML),揭示了一个更强大的学习能力。所需的带注释的数据只是训练阶段,和训练有素的模型可以得到原始图像作为输入的各种任务。保留原始图像的所有信息对病变和生物体,使模型来完成更复杂的任务。张等人开发了一个残余卷积神经网络(CNN)使用磁共振(MR)序列图像(11]。然而,在张的工作,先生序列图像手动选择先生从全3 d的大脑图像。大脑直接处理3 d图像先生,梁等人开发了一个3 d DenseNet IDH基因型预测低级(II和III级,称为低级神经胶质瘤,LGG)和高级(等级IV,被称为胶质母细胞瘤多层次、GBM)神经胶质瘤”图像,取得了84.6%的准确性验证数据集(12]。DL算法也进行自动分割任务,和先前的研究已经建立了许多高性能模型段病变区域从医学图像13,14]。Soltaninejad等人结合DL和ML算法建立superpixel-based和supervoxel-based模型脑部肿瘤分割和检测(15]。然而,这些模型是不称职的预测基因突变状态为神经胶质瘤患者的治疗也很重要。注意机制还介绍了提高分割的性能。虽然关注机制显示了潜在的应用到医学图像的任务,它大大增加了模型的计算复杂度,特别是对于先生的3 d图像。这意味着引起模型需要更多的情况下,他们更困难的是训练有素的。刘等人建立了一个多任务模型包括脑干神经胶质瘤分类和预测H3 K27M突变(16]。图片和IDH先生的表型的基因型都是重要的标准对神经胶质瘤的患者接受适当的医疗治疗;然而,它仍然缺乏一个多任务的细分框架损伤神经胶质瘤和IDH基因型的预测。

大脑先生图像包含正常组织和病变区域的细节。正常组织和病变区域可能会影响基因型的性能预测。但是,先前的研究只集中在进行基因型的黑盒模型预测由于受制于单一任务模型结构,这限制了可靠性的计算机辅助诊断和治疗的工具。由于SGPNet中的多任务架构,我们设置对照实验,讨论IDH基因型病变区域预测的影响通过设置不同组的学习目标。

在本文中,我们专注于一个多任务CNN模型来解决的挑战自动分割的低级神经胶质瘤(LGG)和胶质母细胞瘤(GBM)多元化的预测肿瘤体积和IDH突变先生的图片(SGPNet)。先生的四种模式图像包括T1, T1Gd, T2,和T2-FLAIR预处理,然后送入SGPNet,和我们的模型由一个单一的支柱和两个输出模块,分别分割和IDH状态。为了有效地培养这种多任务模型,我们multiloss函数申请网络和不同的学习速率不同的块。实验结果表明,我们的模型可以减少26.6%的分类错误率比较与先前的模型数据集的多通道脑瘤分割挑战(小鬼)和癌症基因组图谱(TCGA)神经胶质瘤的数据库。此外,我们进一步研究病变区域的特性影响IDH基因型的性能预测。我们相信,这些实验能证明的信息损伤的重要IDH基因预测和增加IDH基因型预测的可靠性。

2。材料和方法

2.1。基因概要文件和医学图像数据集

在本文中,我们使用两个数据集的癌症基因组图谱(TCGA)和脑部肿瘤分割挑战(小鬼)2020数据库进行我们的实验。genotype-related数据集用于本文癌症基因组图谱(TCGA) [17)提供各种基因数据类型,包括基因表达分析,拷贝数变异分析,等等。更具体地说,TCGA的数据集提供了四种方法来识别基因突变并行状态,包括缪斯女神(18],MuTect2 [19],SomaticSniper [20.],VarScan2 [21]。我们考虑一个基因在突变状态当这些方法不止一个显示这个基因突变。小鬼2020数据集(22- - - - - -24)提供了多峰性大脑先生LGG和GBM患者的图像,包括T1, T1Gd, T2, T2-FLAIR卷。有钱的数据集的一个来源是癌症成像存档(TCIA)数据集25先生),它允许我们建立相互参照图片和基因表达谱数据根据项目ID在两个数据集。细分的子类型标签包括坏死和nonenhancing (NCR和净)瘤旁水肿(ED),提高肿瘤(ET),和背景。在本文中,考虑到数据集的规模和我们的研究内容,我们整合NCR和净,艾德,等进入病变标签,它可以使我们实验结果的评价更简洁。121年完全相互参照病人的数据收集从上面的数据集,包括56个突变病例和65例野生型病例,分别。

2.2。数据处理

原先生的图片已被临床专家手工注释;每个实体包括四个模式卷(T1Gd T1, T2, T2-FLAIR)和日渐细分标签,和所有这些图像具有相同的形状像素。数据预处理过程有以下步骤。(1)每一个图像剪裁把黑色背景。(2)后出现形象重塑成统一的形状像素,然后所有图片除了细分标签规范化为零均值和标准偏差单元。(3)四个模式是连接四个输入通道。图1显示了上述步骤的预处理过程。考虑到数据集的规模大小,我们也应用数据增加的技术,和操作的转变和翻转随机选择百分之一百五十的机会在每个培训步骤。

2.3。模型架构

在细分任务,利用输入图像的低层细节是重要的,当数据集的大小是有限的;因此,U-Net取得高绩效,被广泛应用于医学图像分割26- - - - - -28]。此外,降解也是一个常见的问题,当网络体系结构深(29日]。受这一研究的启发,我们修改3 d的hyperparameters U-Net skip-connection引入到我们的模型。框架的基本形状是基于标准U-Net包含两条路径称为收缩路径(左)和广阔的路径(右侧)。有五双块用于两条路径,块的输出在缔约路径连接的输入块的相应的路径。这些连接创建一个快速通道高级和低级特征图谱之间的信息促进梯度反向传播和补偿细节到高层语义特征(30.]。除此之外,这些连接允许输出块提取多层次特性不同的任务从SGPNet的支柱。

我们建议网络组成的一个支柱和两个输出模块,如图2。更具体地说,代表了3 d卷积层;four-tuple的物品表示输入通道、输出通道、内核大小,分别和卷积的跨层。代表实例正常化(在)层旨在消除特定的对比信息从输入图像(31日),而是up-sampling层。代表完全连接层IDH预测的基因型。以下是漏水的解决线性单元(LeakyReLU)激活功能:

分割的任务和IDH基因型预测任务分享最权重的骨干。总的来说,网络是一个端到端的模型,得到四个通道的图像作为输入和输出细分标签和预测IDH突变状态。

在承包的路径,我们替换标准U-Net max-pooling层,有一个卷积的步幅2采样下来和双输出通道的数量,其次是两个重复曲线玲珑的步幅1。LR和卷积后也增加了层。蓝色虚线表示skip-connection;它增加了第一次卷积的输出层的输出最后卷积层在每一块。在广阔的路径,输入的每个块的连接块和相应的功能从配对承包路径映射。第一个卷积集成连接输入的信息,其次是a卷积,部分输入通道的数量。upsampling层之前这两个隆起和使用最近邻插值算法输入功能,宽度和高度的两倍了卷积进一步输入通道数的一半。这两个输出块也引入了skip-connection的概念。分割和IDH基因型输出块,这些块的输入从三个不同层次的块的主干道路。

2.4。评价指标

在本节中,我们使用四个指标来评估SGPNet包括特异性(SP)、敏感性(SN)、准确性(ACC)和接受者操作特征曲线下面积(AUC) IDH状态预测的任务和骰子相似系数(DSC)分割任务。特异性(SP)措施正确预测的底片的比例,如方程(2),灵敏度(SN)是真阳性率的测量,如方程(3)。ACC的分数总样本的正确识别,如方程(4)。AUC计算的概率随机选择积极的排名高于一个随机选择的负面例子。骰子相似系数(DSC)是为了分数的紧密程度预测细分标签匹配的带注释的日渐细分标签,如方程(5)。

上面有四个定义了计算项目:真阳性(TP)的数量是正确预测积极类,同样,真阴性(TN)是正确预测负类的数量。假阳性(FP)是错误的数量预测积极类,和假阴性(FN)的数量不正确预测负类。

2.5。实现细节

考虑到评价指标,熵和骰子损失是我们网络的目标函数。在基因突变预测的任务,IDH状态编码成两个标签(野生型和突变)。二进制叉(公元前)损失函数用于计算预测真实标签和标签之间的相似性,定义如下: 在哪里代表类的可能性和模型的预测真实代表了标签。

骰子损失函数的目的是计算空间重叠的准确性预测细分标签与手工注释标签定义如下:

日渐细分标签包含更多的信息比IDH突变状态,所以它可能不理想体重分割与分类错误同样错误。为了整合上述损失函数,我们定义的总损失如下: 在哪里是平衡的参数分段错误和分类错误。为了动态地平衡骰子和分类损失,损失的参数在总损失函数被定义为 ,所以总损失函数可以由以下公式给出:

我们为不同地区设置不同的学习速率的网络。特别是骨干的学习速率设置为0.0001和细分标签输出块,并将0.00005 IDH状态预测块。此外,我们采用学习速率调度与余弦退火在训练阶段。优化我们的网络初始权值的亚当(32方法minibatch大小的两个。

3所示。实验和结果

在本节中,我们提出了一系列的实验证明的性能提出了多任务模型;我们测试SGPNet TCGA BRAST和数据集和比较SGPNet三个现有的模型。此外,我们讨论损伤的影响的信息IDH状态预测的任务。总的来说,121例胶质瘤病例涉及包括56个突变病例和65例野生型病例。在5倍交叉验证结果的再现性验证,最后结果交叉验证的平均值。

3.1。多任务模型分割和IDH基因型的预测

为了评估模型的性能,我们比较SGPNet与三个不同的模型。ACC, SE、SP和AUC指标用于定量评估的性能预测IDH基因型,和DSC指标是用来评估分割任务的性能。表1显示了ACC,锡、SP、AUC, DSC的模型IDH基因型的性能预测任务和分割任务。图3说明了病变的定性分割结果与我们SGPNet领域,这表明SGPNet可以准确判断病变的边界。

不同于单一任务分割和分类模型,SGPNet不仅可以段病变的神经胶质瘤还预测,IDH基因型取决于大脑图像先生。,阳性预测值(PPV)以及阴性预测值(NPV) SGPNet达到0.894和0.908,分别。此外,这些实验结果表明,我们建议的模型分类错误率下降26.6%相比,以前的模型和神经胶质瘤的病灶分割表现良好。

3.2。比较不同组的学习目标

大脑先生图像包含正常组织和病变区域的细节。正常和病变区域可能影响基因预测。多任务模型结构允许我们设定不同组的学习目标调查如果病变区域的信息或全脑图像先生也许更有可能影响基因的预测,这可能会增加可靠性的计算机辅助诊断和治疗的工具。在本节中,我们开展三个对照实验分析基因型和表型之间的关系通过训练SGPNet不同组的学习目标:(1)SGPNet只是训练和IDH基因型;(2)真实SGPNet训练与细分标签和IDH基因型;和(3)SGPNet训练与随机生成的张量细分标签和IDH基因型。表2显示IDH基因型的性能预测跨三个控制实验。图4比较不同实验的比较ROC曲线。

总损失函数简化为单一任务目标函数当SGPNet只是训练和IDH基因型标签。之后,SGPNet IDH基因型被认为是一个标识符,和SGPNet比梁等人的表现和Chang et al。11,12]。梁等人的一个重要原因是,张等人农作物病变区域作为模型的输入,而我们的模型获得全脑MR图像作为输入,这就增加了困难为模型来提取有用的特性考虑IDH基因型的有限的信息标签。在日渐细分标签添加为学习目标,模型的性能明显改善。然而,第一个实验中使用一个单一任务目标函数 ,在第二个实验中使用多任务目标函数 。进一步讨论了目标函数的影响,我们建立的第三个实验作为随机生成细分标签学习目标。这意味着分割输出块学习错误的病变区域的特点而IDH状态输出块仍然可以学习先生整个图像的特点;因此,模型的性能显著降低。这些实验结果比较后,我们可以推断出这日渐细分标签促进IDH基因型的性能预测,和更重要的病变信息预测IDH基因型。

4所示。讨论

开发一个自动分割的3 d神经胶质瘤病变是一项具有挑战性的任务,考虑肿瘤大小的个体差异较大,形式,和力量。此外,IDH的突变状态可以用作选择一个合格的生物标志物对神经胶质瘤病人的诊断和治疗方法。先前的研究主要集中在基因型的预测从医学图像8,9,11,12];然而,这些单一任务模型显示的限制他们的实用性和可扩展性。然而,它仍然缺乏一个多任务模型分割和IDH神经胶质瘤的基因预测。除此之外,没有研究比较的影响整个图像的特征图像先生和病变区域的预测IDH基因型。

SGPNet是一个端到端的框架旨在解决分割的挑战和IDH神经胶质瘤的基因预测。节3.1的显著改善,实验结果表明IDH基因型的性能预测,并预测错误率降低26.6%,对比梁等人的模型和Chang et al。11,12]。由于多任务模型架构,在部分3.2,我们进一步讨论如果信息神经胶质瘤的病变或整个图像先生更有可能影响IDH基因型的预测通过设置不同的学习目标群体。实验结果表明真实提供细分标签学习目标将促进IDH基因型的性能预测与其他实验进行比较。总的来说,我们推断损伤区域的信息IDH基因型预测更重要,这就增加了可靠性作为一种计算机辅助诊断和治疗的工具。

在临床实践中,神经胶质瘤的诊断通常是由专家根据不同图像先生和基因突变状态。不同形式的图像先生可以反映病变的不同特点。例如,T1提供解剖信息,和T2水肿区和敏感反映了肿瘤的形态学信息(33]。SGPNet可以集成多峰性图像先生预测病变区域的边界和IDH基因型的病人,它可以减少医生的工作量,帮助医生选择适当的治疗病人。SGPNet的分割和基因型预测是可行的,因为的骨干框架旨在了解患者的病变的内在信息。同时,SGPNet框架可用于部分其他组织病变或预测其他基因型对应的数据集上训练有素。SGPNet也可以应用于多中心、大规模multisequence先生图像数据集,因为骨干先生在我们的模型是通用的任何图像收集来自不同机构,设备,和形式。此外,增加训练数据集的规模可以提高SGPNet的泛化能力。生成的概率密度分布不同的组织类型也是一个有效的方法来减少噪音减少环境噪声和提高泛化能力(34]。因此,设计一个自动多任务模型,神经胶质瘤具有优越的临床价值。在未来,我们将进一步发展框架和应用SGPNet更多类型的疾病和基因。

5。结论

在本文中,我们提出一个新颖的多任务3 d框架命名的神经胶质瘤病变SGPNet自动分割,图像先生IDH突变状态的预测。我们的框架使用一个骨干学习内在图像信息,两个输出块分割和IDH神经胶质瘤的基因预测。实验结果表明,我们的架构实现更好的性能预测IDH基因型公共TCGA和小鬼2020数据集比较与先前的研究和实现一个好的结果在分割任务。此外,我们比较的影响图像的整体特征,图像和病变区域的预测基因型和实验结果,表明信息病人的病变是IDH基因型的预测更重要。总之,神经胶质瘤病变区域和预测的准确分割IDH突变状态会提高治疗标准,协助医生诊断和治疗。

数据可用性

核磁共振数据用于支持这项研究的结果已经存入小鬼库(http://braintumorsegmentation.org/),基因profiles数据用于支持本研究的发现已经存入TCGA-GBM和TCGA-LGG存储库(https://portal.gdc.cancer.gov/projects/TCGA-GBM和https://portal.gdc.cancer.gov/projects/TCGA-LGG)。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

这项工作得到了国家自然科学基金(62072212和62072212号),中国的吉林省开发项目(20200401083 gx 2020 c003号),和的基础卫生和计划生育委员会吉林省(没有。2020 j052)。这项工作由吉林也支持大数据智能计算(省级重点实验室。20180622002 jc)。