文摘

甲状腺结节是一种临床疾病的高发病率,与全球每年大量的情况下被发现。早期分析使用超声波成像良性或恶性甲状腺结节是甲状腺癌的诊断具有十分重要的意义。虽然b模式超声可以用来发现甲状腺结节的存在,现有的方法没有一个精确的和自动诊断的超声图像。在这个追求,本研究设想的发展超声波诊断甲状腺结节的准确、高效的识别方法,基于转移卷积神经网络学习和深。最初,总变异(电视)为基础的自适应图像修复方法采用预处理甲状腺超声图像和消除边界和标志。增加数据作为训练集,转移学习与训练GoogLeNet执行卷积神经网络提取图像特征。最后,联合训练和辅助学习进行转移到提高分类精度,基于开源的甲状腺图像数据集和甲状腺图像来自当地医院。GoogLeNet模型建立了实验甲状腺超声图像数据集。与网络建立与LeNet5相比,VGG16, GoogLeNet,和GoogLeNet(改善),结果表明,使用GoogLeNet(改善)模型增强的结节分类的准确性。不同数据集的联合训练和二次转移学习进一步提高其准确性。医学图像的数据集上的实验结果的各种类型的甲状腺病变和正常显示,该方法的分类和诊断的准确率为96.04%,具有重要的临床应用价值。

1。介绍

近年来,甲状腺癌的发病率持续上升。头部和颈部的恶性肿瘤,它继续威胁着人们的健康1]。据报道,在美国,甲状腺癌有望第三女性疾病的威胁,每100000人(约37例2]。甲状腺结节是thyroid-related疾病的一个症状。甲状腺结节的增长可能是由于细胞或甲状腺囊肿。分散的甲状腺结节病变周围甲状腺组织可以通过图像(明确区分3,4]。如果良性和恶性结节可以判断之前,甚至恶性结节是可以治愈的。此外,准确区分方法可以提供一个有效的依据适当的后续的临床治疗。此外,准确诊断早期还可以减少医疗风险遭受病人和大量的医疗费用由针灸检测。

目前,主要有两种方法检查甲状腺结节的性质:超声图像分析和计算机断层扫描成像分析。他们之间,在医院超声成像是便宜和常见。这就是为什么超声波图像分析更为常见。然而,在超声图像,恶性甲状腺结节与杰出的组织病理学组件和模糊边界通常坚持其他组织,难以区分的形态。这需要一种有效的图像分类方法来提高精度,减少误诊率。在过去的研究中,摘录总结甲状腺结节的超声特征图像根据其特点,功能为癌症的迹象。然而,甲状腺结节的诊断依赖于这些特征是耗时和健壮。为此,准确的基于超声波图像的计算机辅助诊断系统还被医生判定。全自动计算机辅助诊断系统包括图像预处理,如去噪、ROI提取和分类。如今,大多数研究主要集中在图像去噪和ROI提取。 At present, it is still difficult to judge by ultrasonic images alone. The low quality and noise pollution of the ultrasound image makes it extremely challenging to classify it. Tsantis et al. [5)提出了一个支持向量机分类器将甲状腺结节为高风险和低风险的恶性肿瘤。马等。6]目前无创性和自动的方法区分良性和恶性甲状腺结节基于支持向量机(SVM)。Acharya et al。7)提出了一种小波变换滤波器对它进行分类。舒克拉et al。8利用人工神经网络处理甲状腺疾病。Prochazka et al。9)提出了一种双阈值二元分解方法对它进行分类。

快速进步的医学图像数据的自动分类也是由这种方法。Thandiackal et al。10皮肤损伤识别通过一些pretrained经典分类网络。卷积神经网络(CNN)模型是一种深度学习体系结构介绍实现乳腺癌的正确分类(11]。它深入提出了一个模型,使用有限的胸部CT数据区分恶性结节和良性结节(12- - - - - -15]。它提出了一种分类算法对甲状腺结节超声图像基于DCNN [16]。然而,这些方法有缺陷目前在以下方面:

不用说,转移学习发挥了重要作用在超声成像诊断为甲状腺癌。然而,few-shot学习是具有挑战性的问题,使预测基于有限数量的样品(17- - - - - -20.]。此外,数据标签是一个任务,需要大量的手工工作(21- - - - - -23]。最后,不适当的模型和不平衡训练数据很难得到更好的分类精度(24- - - - - -30.]。

因此,针对上述问题,本文讨论并做以下工作:

为了应对上述few-shot学习,本文介绍电视模型自动预处理的原始数据收集的各种机构。一些图片是由医生还需要被删除。然后扩大了原始图像数据增加补充训练样本不足的目的。另外,针对上面提到的是什么,选择合适的学习迁移模型,GoogLeNet模型建立了实验甲状腺超声图像数据集。结果表明,该模型提高了结节的分类精度。最后,针对上述训练数据不平衡问题,提出了二次转移学习进行公共甲状腺医院收集的数据库和实际数据集,提高了分类精度。

本文提出的结构如下。节1、写作动机,和相关文献研究。部分2提供传统的CNN结构和描述了Tv-Based图像恢复。部分3描述了基于GoogLeNet网络结构的方法。部分4实验结果显示,包括该方法的应用对甲状腺癌的诊断。总结了研究结果部分5。

2.1。缩写和首字母缩写

这种网络结构通常被称为CNN,本地连接、共享、重量和其他特征的前馈神经网络(31日]。然后将提取的特征输入完全连接网络;因此,要优化的参数。在他们的研究中,月亮等人超声波图像用于癌症诊断。从前面方法的不同之处在于,他们使用不同的数据集,并结合不同的CNN算法融合诊断。发现不同数据集的准确率分别为91.1%和94.62%,分别为(32]。金等人深学习方法用于智能诊断乳腺超声图像。通过计算不同的性能标准,AUC值是89%33]。也有一些使用三维卷积神经网络结构的方法。通过实验,发现了不同的性能标准,准确率可以达到96.7%。

它是一种有效的方法来提取图像特征。图像卷积的输入层。在这一层,它可以执行特征提取任务。每个特性可以从每个特性提取地图通过卷积的层。更新重量训练期间通过不断向后传播。卷积的计算公式层 在哪里 是输出神经元细胞, 每个网络单元的输入信号, 是激活函数, 卷积核, 是抵消。

通过卷积层特征提取后,输出特性映射到特征选择和信息筛选池层。池公式所示以下方程: 在哪里 权重系数和吗 是抽样函数(34- - - - - -36]。

池后,数据是完全连接的输入层,相当于传统的神经传播。卷积神经的连接端只传送信号到其他完全连接层。传统的有线电视新闻网结构如图1。


图1
传统的有线电视新闻网结构。

在传统的CNN结构,采用向前传播构建网络结构,并采用反向传播训练网络参数。损失函数、学习速率和移动平均线是用于网络优化。正规化和交叉熵损失函数在CNN。所示的交叉熵公式 在哪里 是标准答案 预测的价值。采用指数衰减学习速率,即。,每个参数更新的大小。公式的参数更新 在哪里 学习速率和吗 损失函数的梯度。

2.2。TV-Based图像恢复

这个实验的数据集收集一些,需要增强。在目前的研究中,数据集被旋转和增强只翻译。

当前数据包含手动标记,如图2(一)和2(c),手动标志主要指标志由专业人士在超声图像病变区域,破坏结构的一部分,并影响的准确性和完整性的图像区域进行分析。这也影响随后的训练。因此,恢复形象至关重要。2002年,沈et al。37)扩展了电视图像修复模型,并提出了一个基于电视的图像修复方法模型。基于全变差-(电视)的自适应图像恢复是采用图像像素修复后评估价值: 在哪里 代表了当前的像素点O恢复, 代表当前点的相邻点的像素O在四个方向, ,和 是权重系数,它主要是由吗 。它是定义在 在哪里 散度; 在哪里 , ,和 是左边相邻的像素点,左上角邻近点,和当前像素的左下邻近点; 的参数是 点 。


图2
TV-based图像恢复。

最后,如图2这张照片恢复到一个程度,其结构类似于周围的纹理。运用相同的方法来恢复数据的像素2(一)和2(c),数字2(b)和2(d)。

3所示。提出的方法

3.1。提出了网络结构

GoogLeNet成立的CNN模型实现甲状腺的诊断分类。流程如图3。最初,TV-based甲状腺结节的图像进行了预处理。随后,CNN模型的训练进行了提取的特征不同大小的图像。此后,转移学习实现基于开源数据库和数据库收集。功能集成,dual-softmax辅助向前传播。最后,采用softmax分类器分类特性。甲状腺的诊断分类就完成了。


图3
提出了网络模型。
3.2。GoogLeNet CNN结构

GoogLeNet采用《盗梦空间》的结构提出了与旋转的会更深38]。一般来说,一个CNN结构只是简单地增加网络,有两个缺点,即过度拟合和计算量的增加。一般来说,网络深度和宽度可以增加通过减少参数,同时减少参数的完整的连接稀疏连接。稠密矩阵的优化模式,计算量没有定性的改进与这种变化。初始结构有一个稀疏的结构和高计算性能。初始结构如图4。


图4
《盗梦空间》模块。

使用各种不同大小尺度卷积内核可以接受的领域。最后缝合指的是各种尺度的集成。不同大小的内核设置对齐,等 , 。同时,卷积跨步= 1和垫= 0,1,2,分别,后来直接缝合。然而,当使用5×5卷积内核仍然生成大量的计算,因此, 卷积核是用来减少维度。特别是改善了初始结构如图5。


图5
改进的初始模块。
3.3。改善GoogLeNet结构

GoogLeNet网络模型是基于初始模块堆叠。作为一个网络与一个相对较大的深度,有问题的向后传播有效的沟通通过所有层梯度。对于这个任务,浅网络的性能表明,网络的过渡层生成的功能应该是很明显的。分类器在低阶段的区别的能力可以将添加复杂的分类器。它被认为是一种方法,克服了梯度消失的问题。可以采用上述形式的小型CNN把《盗梦空间》的输出模块。这些辅助网络被丢弃的推理。随后的控制实验结果表明,复杂网络的影响几乎是相同的。其中一个是足以达到同样的效果。

辍学的百分比确定完全连接节点关闭了一个培训周期。辍学改进模型的普遍性,防止节点过度学习的训练数据。平均池终于采用网络取代完全连接层。此外,为了防止梯度消失,网络提供了两个额外softmax向前传播梯度。《盗梦空间》的结构如图1。计算了渠道的数量减少后通过1×1卷积聚合信息,有效地利用计算能力。一体化的多维特性相结合的卷积和池不同尺度也导致一个更好的效应的识别和分类。通过改变计算能力从深宽,它避免了分散培训梯度的问题。全球平均池采用GoogleNet解决的典型问题的复杂和弱广义参数传统CNN网络。

4所示。实验

4.1。选择数据集和评价指标

我们通过大量的实验验证,预测候选星团的形态分类的准确性取决于训练样本的以下特点:(我)分类:起源主要分类或两个分类器的模式如表所示1;(2)大小的图像用于培训: ;(3)使用随机选择表中描述的样本的80%1另外,剩下的20%是用于验证。

表1
分布的样本在训练和验证数据库1。

甲状腺结节超声图像数据被从医院获得使用。后增加的数据,有2763的图像恶性病例和541的图像良性的情况下,共有3304张图片。所有图片裁剪成大小 。从甲状腺超声图像提取视频序列的超声波仪器,在12 MHz的频率。TI-RADS分数是由专业医师后图像的诊断。3123例的图像用于改进模型的训练。541张图片,作为测试数据集,然后随机分为5组测试上述三种模式。每一个良性和恶性样本分为一组验证,测试集和训练集。具体分类方案如表所示1。整体条件如表所示1在下面。

4.2。实验结果的比较分析

对不同的模型精度的比较重要。表2表明,均值(改进的《盗梦空间》)是提高精度比公共GoogLeNet模型而言,它表现出最高的准确度判断甲状腺结节病理改变。

表2
测试样本的分类不同的模型。

混淆矩阵和LeNet5获得的性能标准,VGG16, GoogLeNet, GoogLeNet(改善)模型图所示6。


图6
混淆矩阵获得的将Softmax分类器(1是良性的,2是恶性的,3是正常的)。

LeNet5架构正确预测860 1000图片和正确预测140。VGG16架构正确预测920 1000图片和正确预测80。尽管GoogLeNet架构正确预测960年1000年的照片,它错误地预测40。最成功的类GoogLeNet(改善)架构是普通类。GoogLeNet(改善)架构正确预测970 1000图片和正确预测30。

真阳性率(TPR)显示在图的纵轴6,假阳性率(玻璃钢)是显示在图的横轴6。整个图也被称为中华民国曲线。图6显示的结果我们算法的分类精度百分比为96.65%,97.81%,97.32%,95.97%,和0.97%,分别。

不同的CNN模型的损失值如表所示3,GoogLeNet(改进的《盗梦空间》)模型相对最小。在连续迭代的变化趋势如图7。表4显示的结果时间消耗的不同模型诊断相同的测试图像。

表3
损失的值不同的CNN模型。

图7
TPR /玻璃钢曲线。
表4
比较不同的方法获得的评价指标。

如表所示5,LeNet5模型表现出最短时间诊断甲状腺超声图像,和GoogLeNet模型表现出第二个最短。

表5
时间被不同的CNN模型诊断甲状腺超声图像。
4.3。联合训练和学习二次转移

在GoogLeNet,来自财政部的数据集转移到甲状腺图像。一般来说,相信转移效应比两个相似的数据集,当两个数据集有很大的区别。财政部作为自然图像,大大不同于医学图像。因此,联合数据进行训练,根据公共数据库,提供的合作组织。由于缺乏样本,联合数据库被认为是作为一个整体的训练,进一步扩大数据库的整体。

在转移学习,小样本的数据库作为目标字段,和大量标记数据库作为源域。在前面的实验中,2210个图像的恶性和良性的情况下,553张图片共3374张图片,收集来自医院。

4.4。实验结果分析

表4显示了二级学习和转移之间的性能差异的主要传输,数据联合训练,和VGG16-based系统。结果表明,对于小型医疗数据集,二次转会显著改善了系统的性能。图8显示系统的比较转移和non-transfer学习基于LeNet5 VGG16,《盗梦空间》V3。


图8
系统传输的性能比较和nontransfer学习基于(一)LeNet5 VGG16 (b)和(c)《盗梦空间》V3。

与α= 0.05, VGG16模型的值小于0.001,和t值=−28.71。因为 值小于α有足够的证据拒绝这些无效的假设。的 LeNet模型的价值是0.05,t值=−1.66,表明没有足够证据拒绝零假设α= 0.05。然而,LeNet和VGG16之间VGG16较高的平均值,其他两组的平均值GoogleNet和GoogleNet(改进)是高于LeNet VGG16。

与相似类别的数据集,数据联合训练的实验结果还显示关闭协议二次转移。数据联合训练和二次转移是有效的进一步改善系统性能,同时引入学习转移。这提供了一个参考的分类小数据集和医学图像数据集。

5。结论

在目前的研究中,甲状腺超声图像是由TV-based预处理的自适应图像修复方法。随后,CNN模型使用相应的损失函数,建立了学习速率,移动平均线,优化算法优化。三种改进模型,即LeNet5模型,VGG16模型,和GoogLeNet模型训练诊断良性和恶性甲状腺结节。此后,每个模型的准确率的诊断结果是通过测试。

尽管所有的三个培训完成了识别模型,来验证最佳CNN模型等诊断超声图像,我们收集了大量的图像数据进行训练和测试。在比较研究中,发现GoogLeNet(改善)表现出相对最高准确率在决定是否甲状腺结节的病理改变。GoogLeNet模型的平均准确率高达96.04%;此外,GoogLeNet(改善)实现分类精度为97%,损失值为0.3844。它解释说,GoogLeNet模型可以诊断是否病人的甲状腺病变状态或者是正常的。最后,数据联合训练和二次传输学习进行开源的数据集,数据收集和甲状腺超声图像从医院,进一步提高了分类精度。

本文在实验中,深度学习应用于辅助医疗诊断。我们的下一步是逐步优化模型,研究模型的改进,以保证高精度的结果。基于深度学习的图像分类和诊断方法将为医生提供一个参考诊断这种疾病,帮助他们提高诊断效率和准确性,极大地节省人力,并提供新概念的超声诊断甲状腺结节。

数据可用性

使用的数据来支持本研究的发现可以从渭滨陈通过电子邮件:(电子邮件保护)。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

白平衡。陈概念化的研究;白平衡。陈和ZY。顾开发方法论;白平衡。陈和ZY。顾工作软件;ZM评选。刘,YY。FU, and ZP.YE validated the study; XIN.ZHANG carried out formal analysis; L.XIAO investigated the study; L.XIAO helped with the resources; WB.CHEN and L.XIAO wrote, reviewed, and edited the manuscript; XIN.ZHANG visualized the study. All authors have read and agreed to the published version of the manuscript.

确认

这项工作是为浙江省自然科学基金资助下批准号。LY21F020001 LY19F030006,温州科技的中国(温州重大科技创新项目,在格兰特。ZG2020026和ZY2019019),温州和科技(Y20180232)。