文摘
随着计算机断层扫描(CT)的发展,对比增强CT扫描是广泛用于诊断甲状腺结节。然而,由于工件和高甲状腺CT图像的复杂性,传统的机器学习有困难在对比增强CT检测甲状腺结节。一个完全自动化的检测算法对甲状腺结节使用对比增强CT图像。修改U-Net结构完全采用卷积网络段甲状腺感兴趣的区域(ROI),和一个融合提出了卷积神经网络(CNN-Fs)检测良性和恶性甲状腺结节的ROI图像和原始对比增强CT图像。实验结果表明,该瀑布和融合方法的多任务卷积神经网络(CNN)是有效的在诊断甲状腺疾病与对比增强CT图像和与其他CNN相比性能优越的方法。
1。介绍
甲状腺结节是一个或多个聚集在甲状腺异常组织结构由于各种原因。这些结节是人类最常见的结节状病灶,总发病率的19%到46% (1]。甲状腺癌的发病率增加了2.4倍在过去30年里(2]。超声波技术是使用最广泛的成像方法的诊断和随访甲状腺疾病如结核、肿瘤、囊肿(3,4]。然而,进一步提高CT检查和多排的螺旋CT的提议,对比度增强CT扫描逐渐获得甲状腺结节诊断的重要性(5- - - - - -7]。
减少主观因素的影响在医生诊断,提高诊断的准确性,许多研究人员最近做了很多研究在计算机辅助诊断的方向。传统的计算机辅助诊断方法通常处理各种医学图像如超声图像,CT图像,核磁共振图像,x射线的电影,和病理切片染色图像和设计疾病分类或目标分割算法。辛格和金达尔8)第一次提取的13个灰度同现矩阵应用灰度共生矩阵建立()特性,然后利用支持向量机(SVM)分类甲状腺结节的最大分类精度为84.62%。努哥鲁et al。9)分类分析甲状腺结节的结节在超声图像的边缘特征,最终92.30%的准确性。Iakovidis et al。10)使用局部二进制模式(lbp),模糊局部二进制模式(FLBPs)和模糊灰度直方图(FGLHs)来训练支持向量机与多项式内核检测甲状腺结节。接受者操作特征曲线下面积(AUC)估计,最佳的性能为97.5%。尽管上述研究超声图像,取得了较好的结果,他们不适合高复杂性的CT图像,因为甲状腺CT图像,甲状腺区域小,和工件。见彭等的研究。11),识别方法的准确性基于CT图像的统计纹理特征只有88%。刘等人。12用17个纹理特征来训练支持向量机。准确性,AUC,敏感性,特异性,阳性预测值,阴性预测值分别为0.8673,0.9105,0.9130,0.8269,0.8235,和0.9146,分别。此外,上述方法需要人工参与复杂的预处理步骤和特征提取,所有这些都使人难以进一步改善算法。如何有效地提取特征和选择正确的特性在所有功能是困难的问题。
为了解决上述困难,我们考虑深卷积神经网络(cnn)在这项研究。CNN是一个典型的深度学习模式13- - - - - -15),通常由标准卷积层,最后被一个完全终止连接层。通过学习大量的图像数据,CNN可以自动训练合适的卷积滤波器从数据中提取特征。随着层数是加深,CNN可以获得更高级的语义特征的图像数据。因此,CNN可以应用于各种图像分类任务(15- - - - - -17),实现性能优越。
CNN也可以应用于图像分割任务。FCN [18)丢弃VggNet-16的最终分类层(19),完全连接层转换成卷积层,和获得特征图的最后几层提高分割的准确性。SegNet [20.)取代了原来的完全连接层通过构造一个对称的编码器和解码器结合编码器的汇聚层信息来获取目标的分割结果。U-Net [21)结合了编码器的特征信息映射到补分割的细节。最近,CNN在检测和分割任务中已经探讨了在医学领域,如对甲状腺疾病分类SPECT图像CNN (22通过多尺度cnn),肺结节的分类(23有丝分裂),检测在乳腺癌组织学图像通过监督CNN (24,25),和小器官(如胰腺)分割在腹部CT扫描(26,27]。
然而,深卷积神经网络需要大量的训练数据,防止过度拟合,通常是不容易获得大多数常规医疗成像应用。很难获得足够多的训练数据时,一个任务分解成几个小任务基于先验知识将有助于实现更好的结果。谢et al。28)传输的图像表现能力三个ResNet50模型来描述整体外观,异质性的体素值,和异质性肺结节的形状,分别和共同利用肺结节进行分类,他们取得了肺结节的分类精度为93.40%,这是明显高于单一网络方法的准确性。Zhang et al。29日)提出了一种结合深和手工制作的视觉特性(CDHVF)学到的基础算法,使用功能三个整合和pretrained深卷积神经网络(DCNNs)和两个手工描述符在一份联合的方法。CDHVF算法实现了85.47%的准确性2016年ImageCLEF Subfigure分类数据集,这是高于其他纯粹的视觉或深的最佳性能的方法。
的方法检测良性和恶性甲状腺结节提出了研究由两部分组成,如图1。在第一部分,该地区的兴趣甲状腺CT图像自动分割的修改U-Net (DenseU-Net)。第二部分是两个不同的CNN网络的融合结构(CNN-F)。CNN-1使用原来的CT图像进行训练,CNN-2利用CT图像处理分割掩模进行训练。最后,我们将这两个网络合并到CNN-F并结合各种功能水平鉴别良性和恶性甲状腺结节。
本研究的主要贡献如下:(1)一个创新网络命名DenseU-Net,提出基于改进U-Net,甲状腺超声造影CT图像的分割(2)开发一种新的方法来检测良性和恶性甲状腺结节,它适用于转移学习和融合多级融合两种不同特性的CNN结构(3)不需要复杂的甲状腺超声造影CT图像预处理在这项研究中,和客观的和鼓舞人心的性能达到无需任何用户干预
2。材料和方法
2.1。数据和材料
甲状腺超声造影CT图像用于本研究提供的当地医院。非离子造影剂用于射线照相法;浓度是300球型/毫升,流量是3毫升/秒,剂量是1毫升/公斤,前臂静脉注射,注射速率为2.5∼3毫升/ s,和动脉期扫描的延迟25∼30年代。有2012 398名患者的CT图像:73名患者被诊断为恶性甲状腺结节,总共591 CT图像,和325例良性甲状腺结节,总共1421张图片。这些图像的最终诊断是基于细针穿刺活检(FNA),除非病人接受手术,FNA结果作为依据事实,所以数据可以被认为是准确的。此外,上面的CT图像调整由专业医师正确的窗口宽度和窗口水平,甲状腺结节可以清楚地观察到。医学数字成像和通信(DICOM)数据归一化灰度图像的灰度值为0 - 255根据适当的窗口宽度和窗口的水平。灰度图像格式是jpg。甲状腺的CT图像的轮廓被医生手工绘制。总共有500 CT图像,并且每个CT图像对应于一个面具。
2.2。DenseU-Net架构
2.2.1。U-Net基本架构
DenseU-Net(如图2)在本研究设计使用标准U-Net作为网络的基本框架,包括编码器和译码器。编码器部分由多层褶积层的传输特性图大小减少了一层一层地,和渠道的数量是增加了一层一层地。编码器是由以下公式: 在哪里每一层代表一系列卷积操作。表示层的输出 。具体的公式如下: 在哪里卷积内核重量,偏移量的值,然后呢是卷积操作。和ReLU线性整流功能,公式如下:
每一层的译码器部分由upsampling层和卷积层,其中地图大小是增加一层一层地传播特性,和渠道的数量是减少了一层一层地。特征映射生成的每一层编码器译码器是与相应的层。译码器获得的边缘特征分割对象,一层一层地,在一个粗略的好方式通过收购解码器不同尺度的特征图谱。因此,不同的分层特征编码器译码器可以被纳入,让网络更准确和可伸缩的。译码器的部分是用以下公式表示:
2.2.2。密集的学习机制
在深卷积神经网络,网络的深度是一个非常重要的参数。一般来说,随着网络的深化,网络的学习性能变得越来越好。然而,下面是梯度消失的问题,导致网络训练结果更糟糕。为了克服这个问题,黄等。30.)提出了密度卷积网络(DenseNet)。受DenseNet的启发,本研究取代了卷积编码器的网络层的致密块。致密的块在以下公式表示: 在哪里代表了一系列的卷积业务层 。 显示输出的并行连接的第一层的致密块。密集的街区,每一层的输入来自所有的输出层(如图以上3)。因为这个设计,DenseU-Net编码器更窄,更少的参数。卷积输出特征图的数量每层的致密块很小,和这个连接方法使的传播特性和梯度更有效率,而且DenseU-Net容易训练。同时,由于参数数量远低于一般U-Net,过度拟合它有一定的抑制作用,有一定的正则化效果。
DenseU-Net编码器部分修改的致密块用以下公式表示:
具体来说,该算法是一种设计BN-ReLU-Conv ((1×1)×(4增长率)-BN-ReLU-Conv((3×3)×(增长率))。在本文中,使用三个不同的致密块根据U-Net网络结构,和增长率是32,64年和128年分别。这是为了提高网络的整体性能,当编码器的深度太深。增长速度设置为32时,编码器块的第五层编码器16层,这远远大于层解码器部分的数量,和编码器和译码器层严重不平衡,影响网络的整体性能。
2.2.3。残块,跳过连接
上下文信息是直接连接到译码器在标准U-Net虽然这连接保存最原始的上下文信息,帮助解码器重建分割目标的轮廓和细节。另一方面,这些未经加工的特征图也包含大量的干扰特性,如细分目标区域之外的信息,这将减少网络的性能。为了解决这个问题,我们使用了剩余块ResNet [31日替换原来的连接。剩余块由以下公式表示: 在哪里代表剩余块和卷积操作表示前一层的输出。的残块,一个输入处理分支并添加到原始输入。这保留原功能的必要的信息地图,可以过滤掉无用的干扰特性的处理下 。DenseU-net解码器部分修改后的残块用以下公式表示:
2.3。CNN-F架构
通过学习大量的图像数据,CNN卷积可以训练一个合适的滤波器来提取图像的各种特性。因此,对于不同类型的图片,培训相应的卷积过滤器可以更有效地提取图像的特征。此外,不同的CNN架构可以学习不同的特点:浅网络是适合学习的低级特征,深网络后可以学习高级功能训练有素。此外,随着网络层数的增加,CNN可以学习更复杂的功能。因此,在本文中,CNN-F(如图4)提出了浅层和深层网络的融合。CNN-F由CNN-1和CNN-2并行执行。图像数据都同时输入CNN-1和CNN-2输入。图像特征提取的两个网络融合的连接层,最后结果是产出softmax完全连接层的激活函数。这种结构可以捕获所有功能的甲状腺结节与周围组织的复杂的高级特性CNN-1和使用CNN-2捕捉微妙的低级纹理在甲状腺功能,这样可以从多个功能水平增强对比度甲状腺CT图像。
的详细结构深层网络CNN-1图4如图5。这个网络使用DenseNet结构从输入图像中提取特征,最后将通过一层完全连接层和softmax功能。
具体来说,CNN-1密度有五块的增长率32和63回旋的层。使用的激活函数卷积层都是线性整流功能(ReLU)。此外,其他类型的层用于CNN-1。每个密集块后,最大池层窗口大小的2×2的步幅2处理和地图的大小特征是处理后减少一半。同时,CNN-1批量标准化(适用于32毕竟卷积层,renormalizes每批上一层的激活值,这样的输出数据是接近于零,标准差是接近1。批标准化工作加速收敛,控制过度拟合,减少网络初始化权重的敏感性,并允许更大的学习速率。背后有一层平均池卷积层减少每个通道的特征尺寸为1,其次是平层,输入“平坦”特性映射到一维卷积的过渡层完全连接层。年底CNN-1是完全连接层的层有两个节点,使用将softmax函数生成预测标签。
CNN-2的总体结构和CNN-1是相同的,和这两个是不同的层的总数。CNN-2 31卷积层。第三到第五密度块CNN-2是两层结构。其增长率是32。
2.4。训练方法
由于训练样本只有500原始图像和500面具标签,这很容易导致网络过度拟合。因此,为了减少的影响较少的数据,实时数据增强培训来增加数据的多样性,如随机性,水平翻转,随机剪切伸展,随机旋转。培训DenseU-Net时,我们第一次初始化DenseU-Net随机参数。第二,256×256甲状腺的超声造影CT图像被用作DenseU-Net的输入,和同样大小的面具被用来作为一个标签监督网络。
使用的损失函数DenseU-Net骰子的损失,这是Milletari提出的损失函数等。33在V-net]。骰子系数来源于Sørensen-Dice系数和是一个统计指标由Thorvald Sørensen和骰子341945年)。它是一套相似性度量函数,描述了两个轮廓的相似区域,相当于F1分数,和它的公式 在哪里一个和B代表点的集合中包含两个轮廓。然后,骰子可以表示为损失 在哪里和每个像素的值预测的面具,真实的面具,分别和值在0和1之间。是平滑系数,减少了损失值,用于减少网络的过度拟合。
培训CNN-F时,积极的和消极的样本数据集的不平衡,这将导致收敛速度慢和培训过程中性能下降。因此,本文oversamples少积极样本匹配或近似负样本的数量。同时,减少过度拟合效果造成的少量的数据,本文pretrained CNN-1组25000 ImageNet自然图像的数据集。的重量CNN-1使用30迭代初始化。然后CNN-1训练与原来的对比增强CT图像。同样,这些CT图像增强的实时之前进入网络。
CNN-2,其重量与随机初始化参数。CNN-2当时训练图像数据只包含甲状腺ROI掩模处理。此外,上述网络都使用亚当算法优化(35]。使用的损失函数CNN-1 CNN-2多级交叉熵,和公式 在哪里的样品和数量吗的数量分类。
训练后CNN-1 CNN-2, CNN-F两人结合。在细节中,我们首先锁定卷积层CNN-1 CNN-2然后训练CNN-F完全连接层的权重。最后,卷积层CNN-1和CNN-2前后颠倒的方式解锁,我们整合解锁卷积层。目的是要慢慢调整权重的训练重量不破坏。
2.5。性能测量
在这项研究中,我们进行了5倍交叉验证甲状腺分割数据集和良性和恶性的数据集。四是用于训练网络,一个是用于验证评价模型的性能,和数据相同的病人被禁止被分为训练集和验证集的良性和恶性的数据集。
DenseU-Net的评价方法是骰子系数,和骰子系数的值在0和1之间。值越接近1,更精确的分割。
评估我们的提议CNN-F,我们使用的分类还记得,精度、准确性、特异性、F1分数,和接受者操作特征(ROC)曲线下面积(AUC) [36)来评估不同的方法的性能。
它可以决定如果CNN分类结果是正确的,如果样品是正的,真阳性(TP),真阴性(TN),假阳性(FP),或假阴性(FN)为每一个类。
回忆、精度、准确性和F1分数定义如下:
准确性是正确预测观测的比率。回忆的样本数量的比率是正确预测的类为类的样本总数,也被称为灵敏度或命中率。精度是指正确预测类别样本的数量比总数预测样本的类别。特异性的比例是正确预测负样本总负样本。F1的调和平均数是分数分类的精度和灵敏度。较大的这些性能值,方法的性能越好。
3所示。实验和结果
3.1。实现细节
在培训过程中,目标函数用DenseU-Net骰子损失函数。优化方法是亚当35),亚当的学习速率设置为0.0001,一阶矩估计的指数衰减速度设置为0.9,和二次矩估计的指数衰减率设置为0.999。此外,训练数据输入到网络在两个批次。
目标函数采用CNN-1是多级交叉熵函数。在pretraining,优化方法是亚当35),亚当的学习速率设置为0.001和一阶矩估计的指数衰减率设置为0.9。二阶矩估计的指数衰减率设置为0.999。然后,当threshold CNN-1,随机梯度下降优化算法(SGD)采用。SGD设置为0.00001的学习速率和动量参数是0.9。目标函数采用CNN-2也是一个多级交叉熵函数,亚当的学习速率设置为0.001,一阶矩估计的指数衰减率设置为0.9,和二阶矩估计的指数衰减率是0.999。最后,CNN-F目标函数也是一个多级交叉熵函数。的优化方法是随机梯度下降优化算法(SGD),和学习速率设置为0.00001。
其他CNN方法,包括VGG-16 [19],ResNet50 [31日],InceptionV3 [37),也实现了与本文提出的方法。训练方法细节如上所述相同。
个人电脑上的所有实验。计算机有一个英特尔酷睿i5 - 7400 (3.0 GHz) CPU处理器、8 GB RAM, 11 GB Nvidia Geforce GTX1080TI图形处理器,64位Windows操作系统。运行时环境是Python 3.5和Keras TensorFlow作为后端。时间火车DenseU-Net大约是5个小时。火车需要大约4.75小时CNN-1 CNN-2。需要0.062秒甲状腺CT图像分割训练DenseU-Net,大约需要0.033秒CNN-F检测图像。
3.2。DenseU-Net的性能
本文首先研究DenseU-Net改善网络的性能。DenseU-Net被描述在表的详细配置1。图6显示生成的分割概率情节U-Net DenseU-Net。同时,研究评估DenseU-Net的性能和U-Net通过比较骰子系数。骰子系数曲线的两个图所示7。
3.3。CNN-F和与其他方法进行比较
在这项研究中,我们使用了未经加工的原始CT图像作为CNN-1训练数据。验证CNN-1学到的甲状腺结节甲状腺的功能区域,没有其他器官组织培训,我们构建了一个cover-contrast测试。如图8的训练集由原来的CT图像。验证组1被DenseU-Net组成的ROI图像处理,和验证集2由甲状腺区域的CT图像被删除。性能的准确性与不同的迭代数量如图9。
评估我们的CNN-F,我们其他几个经典的CNN方法实现,包括VGG-16 [19],ResNet50 [31日],InceptionV3 [37]。我们CNN-1 CNN-2表中描述的细节2VGG-16的细节,ResNet101, InceptionV3描述(19,31日,37]。分别使它容易,这些CNN架构进行了5倍交叉验证。准确性、召回、精密、特异性和F1的这些架构与95%置信区间和AUC报道在表3,被认为是具有统计学意义。图10显示了不同的cnn的ROC曲线用于检测甲状腺结节。
4所示。讨论
良性和恶性甲状腺结节检测起着关键作用的最佳治疗质量和病人的结果。CT工件,然而,由于复杂的甲状腺组织,和边缘模糊,传统的机器学习算法难以应对检测甲状腺结节的超声造影CT。在传统的机器学习,不准确的图像预处理时将产生潜在的错误和不合理的特征选择手动提取功能水平会导致分类的偏见。如表所示3一阶纹理特征,包括熵,均匀,平均强度,标准差,峰度和偏态,计算每个ROI后减少光子噪声。最后,应用支持向量机分析分类。的准确性、敏感性和特异性分别为0.880,0.821,和0.933,不够好。然而,深度学习方法解决这些问题,自动生成重量和偏离数据,生成数据驱动的、特定于任务的,和密集的特性提取器,充分利用二维结构图像。在这项研究中,我们解决了这个问题的甲状腺结节检测基于对比度增强CT通过一连串CNN-based方法。同时,为了减少造成的过度拟合训练数据不足,我们训练有素的两个网络,分别处理的整体外观甲状腺和甲状腺结节的内部结构。我们所知,尽管有研究基于深度学习甲状腺结节检测,我们是第一次尝试CNN应用于检测良性和恶性甲状腺结节的CT图像。在这项研究中,DenseU-Net CNN-F可以自动提取有效特征,对比增强CT图像不做任何假设相关的视觉特性。具体地说,CNN使用一个训练有素的卷积滤波器来提取特征不同的边缘,不同形状,不同的多级纹理并结合和规范化识别良性和恶性甲状腺。同时,通过学习与工件CT图像,CNN还可以处理CT系统常见的不良状况。
评估拟议的DenseU-Net, 5倍交叉验证进行500年实验通过使用CT图像和相应的分割面具。图7表明DenseU-Net明显优于原U-Net,无论是训练速度和最终性能。骰子系数从0.945增加到0.955。不同于那些研究[26,27),都取得了极大的结果通过改进培训和优化方法,这项工作集中在网络结构设计的优化。密集的连接DenseU-Net加快训练速度和提高了分割精度结合残块。图6显示的效果U-Net CT图像和DenseU-Net生成面具。结果表明,本文改进后的网络性能更好比U-Net甲状腺地区边缘处理。尽管U-Net甲状腺区域分割的任务完成好,在某些情况下,边缘分割错误,掩盖错误地出现在该地区甲状腺。
验证CNN-1提取的特性是有效的,主要来自甲状腺,我们执行一个cover-contrast实验。我们可以看到在图9,CNN-1重量训练从原始CT图像取得了85.28%的准确性验证集组成的甲状腺CT图像区域,而CNN-1表现不佳的数据集与甲状腺地区移除,准确率约为62.53%,接近随机猜测。ROI验证组的性能不是很好,因为分段失去了大部分的甲状腺图像边缘信息,可以提供一些有用的特性对甲状腺结节的诊断。例如,甲状腺边缘是否模糊良性和恶性的检测是一个重要的因素。而且,验证设置1失去甲状腺外的其他器官区域,它可以帮助CNN-1预测正确的结果在某些方面。最终的精度验证集2(62.38%)仍高于50%,原因可能是验证集2中的图片有甲状腺的形状信息和甲状腺外的其他器官区域。根据专业的医生,一些恶性结节可以导致甲状腺扩大几倍原来的大小(如图6),这种情况下不太当甲状腺结节是良性的。因此,甲状腺的形状信息是CNN-1学到的特性之一,使验证的准确性2高于50%。可以看出特征提取后,CNN-1学习原始CT图像主要来自甲状腺区域和一小部分功能来自于其他器官区域外的甲状腺和甲状腺的边缘。这也可以在桌子上3。CNN-2使用ROI训练数据的准确性为93.14%,小于CNN-1用最初的训练数据的准确性(94.98%)。虽然分段甲状腺CT图像失去了边缘和甲状腺外的其他器官区域信息,它可以使CNN-2更关注学习的内部结构特性和外观损伤。因此,融合CNN-1和CNN-2结合了两者优点的获得更好的检测结果。
最后,验证我们的方法可以交易的良性和恶性甲状腺结节检测,我们将我们的方法与VGG-16, ResNet50, InceptionV3。结果在表3和图10表明我们的级联,融合多任务卷积神经网络优于其他单一网络检测甲状腺结节。此外,尽管CNN-2并未执行以及其他方法,它是优秀的性能与CNN-1融合后,因为它更侧重于甲状腺的内部结构。
这项研究没有确定CNN hyperparameters(如层数和单位和过滤器大小)分析,但主要是经验。我们提出DenseU-Net并不有效段甲状腺ROI当背景复杂,病变与周围组织集成,如图11。此外CNN-F不能准确判断CT图像在良性和恶性连接。因此,在未来,获得更多的数据后,进一步的研究需要更高的性能水平。
5。结论
检测的方法基于对比度增强良性和恶性甲状腺结节的CT图像中扮演一个重要的角色在帮助医生做出准确和正确的诊断。解决问题的良性和恶性甲状腺CT图像的识别,提出了一种方法使用DenseU-Net网络的自动分割,然后利用CNN-F相结合两个深层神经网络结构和特征选择进行良性和恶性结节检测。本文基于U-Net DenseU-Net改进和优于原网络在所有方面。的致密块减少网络的总体参数,在一定程度上减少了过度拟合现象。与此同时,由于密集的连接机制,下行梯度可以有效地传播到深网络层在培训过程中,收敛速度比原来的网络。最后,DenseU-Net能够完成甲状腺区域分割任务。判断任务的良性和恶性甲状腺结节,本文提出一种CNN-based检测方法,它是由两个分别训练有素的cnn, CNN-1 CNN-2。通过让CNN-1训练对原始CT图像,让CNN-2学习甲状腺CT图像分割,CNN-F,相结合的优势,能更好地判断在良性和恶性结节从多个功能水平。结果表明,CNN-based方法可以解决这一问题的良性和恶性甲状腺结节的发现和证明了其潜在的临床应用。本研究方法可以为医生提供一个客观的第二意见,以减少误诊引起过度疲劳。 We recognize that our datasets are not sufficient to learn advanced features and achieve greater accuracy through deep CNN. Therefore, in future research, it is necessary to further test the actual performance level and robustness of the scheme. In addition, we will explore other CNN-based models for more accurate automated detection of thyroid nodules.
数据可用性
数据用于支持本研究的发现是不可用的通讯作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
本研究由中国自然科学基金会(不支持。51874300)和徐州关键研发项目(没有。KC18082)。