文摘

在全球爆发的新冠状病毒病(COVID-19)已经宣布大流行由世界卫生组织(世卫组织)。它有一个对日常生活产生重大的影响,公共卫生,和全球经济。由于高度传染性的,迫在眉睫的是快速而准确的疑似病例的早期筛查。胸部x线医学图像,作为诊断依据COVID-19,引起注意力从医学工程。然而,由于小病变差异和缺乏训练数据,检测模型的精度是不够的。在这项工作中,学习策略引入层次结构转移到加强高层深卷积神经网络的特性。拟议的框架组成的不对称pretrained DCNNs与关注网络将各种信息集成到更广泛的体系结构,以了解更多歧视和互补特性。此外,小说叉损失函数与一个点球术语削弱了误分类。广泛的实验是在COVID-19数据集上实现。与最先进的相比,提出的方法的有效性和高性能。

1。介绍

新冠状病毒疾病患者的数量(COVID-19)急剧上升,将前所未有的全球系统的负担。尤其是在许多国家,医疗系统已经被(1]。截至2022年7月13日,全世界COVID-19感染性病例的总数是557035533,包括6368340例死亡。一些COVID-19病毒粒子图像见图1发布的,这是国家过敏症和传染病研究所(NIAID)和落基山实验室(RML) [2]。COVID-19更复杂的临床表现可能包括发烧、咳嗽,剧烈的头痛。没有足够的充分有效的疫苗用于预防COVID-19。针对这一点,人们很容易感染了冠状病毒的飞沫。因此,早期发现COVID-19立即隔离可疑病人非常重要,减少感染的可能性在一个健康的人口。近年来,逆转录聚合酶链反应(rt - pcr)已经被用作筛选COVID-19[的主要方法2]。然而,rt - pcr是耗时且容易出错3]。胸部x线摄影成像(x射线)和计算机断层扫描(CT)也可以申请肺炎的诊断。与CT和磁共振成像(MRI),胸部x光片是一种廉价、快速、常见的临床诊断方法。此外,患者胸部x光图像可以提供较低的辐射剂量。因此,胸部x光图像检测COVID-19选择在我们的研究中。然而,做出一个准确和正确的诊断从胸部x光图像需要专家经验和知识4]。COVID-19的早期阶段,可以看到地面类模式在肺血管边缘的边缘地区,这可能是难以证实视觉。扩散领空混浊或不对称COVID-19的补丁也被报道。事实上,各种病变之间的差异小胸部x光图像。很难发现肺部疾病仅仅基于形状或区域。即表示目标类之间太相似,和类之间的差异并不明显。很难理解这些微妙的异常。这个问题会导致较低的病变检测的准确性。此外,考虑到大量的疑似病例和训练有素的放射科医生的数量有限,迫切需要高效、自动识别方法COVID-19 [5]。

(一)
(一)
(b)
(b)
图1
COVID-19病毒颗粒的图像:(一)被扫描电子显微镜;(b)被透射电子显微镜。

深卷积神经网络(DCNNs)已被证明是优于传统的机器学习方法,由于其出色的自动文摘特征提取能力。提出了许多深leaning-based方法检测COVID-19病例从x射线图像有效地6- - - - - -11]。一般来说,基于深度学习方法需要丰富的标记数据。然而,在医学图像分析中最严重的挑战之一是缺乏可用的数据集。此外,标签大量数据由放射科医生是耗时和昂贵的。征服这一困境,提出转移学习的概念,模型训练在一个域可以重用相关的另一个领域。在实际场景中,转移学习是由CNN模型训练在更大的数据集(例如,ImageNet)。是欣但et al。11)使用DenseNet和VGG19诊断COVID-19从x射线图像。Ucar和Korkmaz12推出了一款名为COVIDiagnosis-Net模型,调整SqueezeNet pretrained与贝叶斯网络优化。Bargshady et al。13)采用CycleGAN数据增加,然后使用InceptionV3检测COVID-19。Sahinbas和Catak14)使用x射线图像检测与知名COVID-19 pretrained深cnn VGG-16等VGG-19, ResNet, DenseNet, InceptionV3,实验结果证明,该pretrained VGG-16可以检测COVID-19最高的分类性能。Punn和阿加瓦尔15)使用ResNet InceptionV3,《盗梦空间》网络分别检测COVID-19。Ahuja et al。16]发达三步检测COVID-19 CT图像。第一步进行数据增加,第二步使用转移学习pretrained模型来完成分类任务,最后一步是使用深层异常定位。辛格et al。17截断VGG16)用于从输入图像中提取特征,然后采用主成分分析(PCA)方法对特征选择。Afshar et al。18]介绍了COVID-CAPS模型,它是一个替代框架基于胶囊网络。袍et al。19]densenet - 121用于有效地发现COVID-19病例。

上面的方法转移上优于COVID-19检验方法。事实上,为了获得更丰富和更高级的特性,网络结构通常设计为前腰的位置。然而,连续一个网络深度的增加可能导致的损失有识别力的细节过渡层。虽然这些细节可以低级特征,它们可能是必不可少的异常x射线图像很难分类。这些问题已经成为发展的障碍和瓶颈DCNNs。

针对这一点,许多研究人员试图扩大网络的宽度来提取更多的有用的特征信息。基于这个想法,侯et al。20.)提出了一个新颖的框架,结合两个同构DCNN模型提取更多的功能。Hosseinzadeh [21)连接不同的特性提取AlexNet、ResNet50 SqueezeNet, VGG19网络。Gayathri et al。22)综合Xception和InceptionResNetV2 pretrained模型特征提取。然而,这些同构的特征提取或类似的网络可能重复。陈等人。23称为DualCheXNet]提出了一种双不对称网络,集成ResNet和DenseNet更有识别力的特性自适应地学习。ResNet添加输入特性输出通过残块。相比之下,在每个输入通道连接,其输出密集块DenseNet结构。根据这些属性,ResNet使我们能够重用早期特性而DenseNet试图探索新功能。因此,可以得出结论,从ResNet提取的特征和DenseNet是独特和不同的和可能是互补的。

在传统的分类方法中,一个两步过程包括工艺品特征提取和分类通常是进行。灵感来自前面的讨论,与传统的方法不同,我们采用一个端到端的网络,可以预测COVID-19直接从x射线图像。在我们的研究中,我们使用两个相同的配置层次结构来检测COVID-19病例。在本文的其余部分中,我们使用“特征提取网络”来表示这两个相同的配置。特征提取网络包括两个不同的DCNNs,和子网pretrained ImageNet数据集。特征提取网络包含ResNet-50和DCNNs densenet - 201。在pretrained模型,一些辅助层添加到提高分类的性能。以下是本文的主要贡献:(1)这项工作使用一个包含两个配置层次结构来检测COVID-19阶段。即样本区分为“正常”或“肺炎”在第一阶段。如果一个案件归类为“肺炎”,第二个分类器来区分是否“COVID-19”造成的肺炎(2)在每个阶段的两个分类任务,两个不对称pretrained网络包含ResNet-50和densenet - 201集成提取更多的歧视和互补特性(3)pretrained背后的子网,原分类层被丢弃。注意机制称为SE GlobalAveragePooling操作模块和用于提高分类的性能任务。从上面的架构,通过连接特性包含了三完全连接层,辍学机制被添加到完全连接层(4)基于传统的二进制叉(CE)损失函数,提出框架利用小说损失函数通过添加一个惩罚项传统叉,它引入了一个区别预测和真正的标签概率值。这本小说损失函数,生成最优模型已经在很大程度上加速

研究的其余部分组织如下。部分3详细介绍了该方法。部分4给出了一些实验结果和相关的详细讨论。最后,部分5总结整个工作。

3所示。该方法

3.1。层次结构

对于分类任务,在组内的有一定关系。一般来说,在实际场景中,类是组织为层次结构,它可以被视为一个树。在我们的研究中,我们采用一种分层分类框架。我们以输入为根节点,这是目标分类。目标类位于树的叶子,树中的每个父节点代表一个分类器。本研究给出的图如图2。在我们的研究中,需要两个分类器,一个是根节点,用来区分正常和肺炎;另一种是在第二层,致力于区分COVID-19 non-COVID-19。因此,本研究将分类任务划分为两个阶段。在第一阶段,实例是第一个分类器的输入。如果结果预计为“正常”推理结束。否则,它将美联储第二分类器。第二个分类器来区分是否肺炎引起的“COVID-19。”


图2
分层分类展示。树中的每个父节点代表一个分类器,每个叶节点是一个类别。
3.2。问题定义和公式

在本节中,我们提出本文的问题定义和公式。广义上说,转移学习是指一个使用获得的知识的学习策略在解决一个问题 解决另一个问题 。我们定义转移学习领域和任务。域 被定义为一个特征空间 和一个概率分布 上定义 。这个任务 被定义为一个标签空间 和预测功能 。接下来,我们定义两个集合,一个包含源域和任务( ),和另一个包含目标域和任务( ),在哪里 。迁移学习的目的是在学习使用获得的知识 随后的学习任务 。

该方法由两个不对称pretrained DCNNs构建一个更广泛的架构。本文制定了这个过程的正式定义案例库[23]。我们定义两个pretrained网络的输入图像 和 ,分别在哪里 , ,和 表示训练样本的数量。具体来说,输入图像的两个子网都是相同的。特征映射输出不同的DCNNs表示为 和 ,分别。这两个不同的功能空间可以互为补充。我们使用 代表分类器的分类结果, 可以制定为方程(1)。此外,我们使用 表示分类器的损失 可以制定为方程(2)。 在哪里 是一个激活函数和 损失函数。

3.3。特征提取的网络

该方法的框图如图3。总体分类任务可以分为两个模块:特征提取模块和分类模块。在特征提取模块,它已经吸引了广泛关注与大容量提高DCNN。为了实现这一目标,网络通常设计为前腰的位置。不同于传统的“深层”DCNN网络,设计一个“广泛”架构学习更丰富的功能。与单一DCNN模型相比,连接不同DCNNs将整合不同的信息来创建一个更有识别力的和全面的功能表示。在这项工作,两个不对称网络集成到一个“大”架构。这种“广泛”架构的核心思想是由不同的DCNNs学习更加丰富和补充功能。ResNet [24)使用全球平均池代替完全连接层。此外,快捷方式添加层之间,可以防止变形随着网络变得更深入、更复杂。DenseNet [25)提供了一个紧凑和薄结构,用更少的参数可以实现良好的性能。立即支持许多医学图像诊断任务。本文采用这两个不对称网络中提取更多的区别的功能。


图3
该方法的框图转移学习。

在这项工作中,我们使用检测COVID-19的层次结构,其中包含两个相同的配置。该方法的总体架构如图4。特征提取网络集成ResNet-50和densenet - 201模型,已被pretrained ImageNet数据集。ResNet-50的体系结构如图5卷积的一层开始,到一个完全连接层。图6显示densenet - 121的网络框架,这是一个类似densenet框架- 201。这个网络密度是由4块。两个相邻块之间的结构被称为过渡层,可以用来调整特征图的大小通过卷积和池操作。


图4
该方法的体系结构,上层是转移学习特征提取和下一个分类器。

图5
Pretrained ResNet-50网络(26]。

图6
densenet - 121结构四个密集的街区和三个过渡层(8]。

在我们的研究中,最初的分类层DCNNs丢弃,年底和SE块GlobalAveragePooling操作后面添加pretrained DCNNs。SE网络改善网络的表达能力通过显式地建模特性之间的相互依存关系渠道。SE块的结构如图7组成的挤压和激发行动。pretraining之后,直接提取的特征从两个子网连接形成新的特征向量。图的上半部分4使用转移特征提取阶段学习。


图7
紧缩和励磁结构(27]。
3.4。分类器

图的下方4是分类阶段。在这个阶段,从不同的子网连接的特性。然后连接特性被送入分类器生成分类输出。一般来说,一个完全连接层是最后和最重要的层DCNNs。这些层的功能类似于一个多层感知器。在这个工作,三个完全连接层构造分类器。此外,辍学机制被添加到完全连接层,用于避免过度拟合。前两层的激活函数是ReLU,最后是Softmax。以下方程给这两个激活函数的定义。

3.5。培训策略

协调两个萃取器学习互补特性,训练策略起着至关重要的作用。在本文中,我们采用一种改进的叉成本函数最小化之间的距离真正的标签和预测概率。基本的熵定义为方程(5)。在这项研究中,我们添加了一个惩罚项引入了预测的区别和真正的标签概率值方程(6)。惩罚项可以制定为方程(7)。通过这种方式,它可以帮助网络来增加其关注误分类的能力。 在哪里 和 代表真正的标签为每个图像和预测概率,分别。从方程(6)和(7),很明显,如果样本正确分类,惩罚项是0。这将最小化代价函数使用随机梯度下降法(SGD)算法。

4所示。实验和讨论

4.1。数据集

摘要开放获取的数据集称为COVID-19放射学数据库(28)是用来估计方法的性能。这个数据集可以在网站:https://www.kaggle.com/tawsifurrahman/covid19-radiography-database/。这个数据集是由从一些大学和医院的一个研究小组,由1200 COVID-19病例,1341年正常的图像,和1345例病毒性肺炎病例9]。图8给出了一些例子的胸部x光图像三类。


图8
一些例子的胸部x光图像三类:正常(健康的人),病毒性肺炎(患有病毒性肺炎)和COVID-19 (COVID-19引起的肺炎)。

对于我们的研究目的,我们的实验是进行两个二进制分类数据集(Dataset-1和Dataset-2)对应于这两个分类器。

在Dataset-1,分类器只区分阶级之间的“正常”和“肺炎”。

Dataset-2,样本相关的“正常”类中移除。这个数据集由肺炎和COVID-19案件相关的样本。

在这个研究中,考虑到软件和硬件设备的性能,避免数据不平衡的问题,我们调整了适当的数据集。更具体地说,在Dataset-1,我们随机选择500名正常健康人样本和1000例异常病例进行训练。500年1000例异常病例包括病毒性肺炎病例和500 COVID-19引起的肺炎。因此,该方法执行分类任务在“正常”和“肺炎”Dataset-1。如果此案列为“肺炎”,它将被发送到第二个分类器。接下来,Dataset-2,我们使用上面的1000例异常病例,包括500例病毒性肺炎病例和500年COVID-19-positive样本COVID-19放射学数据库第二分类器训练。

为了验证训练模型,我们随机选择300剩余的样本数据集。100年的300个样本由正常和200例肺炎病例。和100年的200例肺炎病例由COVID-19和100年病毒性肺炎病例。

4.2。数据增加

在基于图像的监督学习的任务,增加战略被广泛应用于自然图像。几何变换(或仿射变换)是最常用在训练过程中(29日]。对于医学图像,具体结构损伤和组织等一些操作相对敏感。过度的增强会扭曲了训练数据的实际分布由于引入太多的离群值。因此,有必要仔细选择合适的增强方法。本研究中使用的数据扩充策略是旋转,水平和垂直翻转。

4.3。实现细节

在这篇文章中,所有图片的大小 Dataset-1和Dataset-2像素大小。我们使用了“ImageDataGenerator”类从Python Keras增加数据集。增加的数据被使用 , ,和 。本文采用培训策略与小说损失函数提出本文学习速率为0.0001。除此之外,80%的样本在训练数据集是训练,剩下的20%是为了验证。在这个研究中,从头pretrained网络训练没有冻结层,和这两个网络是分开训练。通过这种方式,两个二进制分类模型。第一个分类器只杰出的类之间的“正常”和“肺炎”,第二个可以区分是否COVID-19引起的肺炎。所有的培训过程实验50时代,批量大小的20倍。

4.4。指标

有几个指标可用于评估分类任务的性能。本研究中使用的指标精度,灵敏度, - - - - - -分数、精度和特异性,制定如下,分别。

4.5。结果与讨论

我们为COVID-19 2二进制分类层次结构进行检测。在第一阶段,目标样本区分为“正常”或“肺炎。“来验证我们的训练模式,我们选择了300个样本,包括正常100和200例肺炎病例。100年的200例肺炎由COVID-19和100年病毒性肺炎病例。在第二阶段,腐败案件归类为“肺炎”第一阶段继续COVID-19区分是否肺炎引起的”。“评估训练模型,上述100例异常用来区分是否肺炎是由“COVID-19。”最后,如表所示1获得的敏感性、特异性、精密, - - - - - -得分,该方法的精度值分别为99.00%,100%,100%,99.50%,和99.67%,分别。

表1
敏感性,特异性,精度, - - - - - -分数和精度值不同的框架。
4.6。烧蚀分析

采用层次结构检测COVID-19。这种结构可以被看作是一棵树,在目标类位于树的叶子。为了证明层次结构的有效性,本文进行了比较实验,只有训练该模型,并直接分类结果分为三个类别:正常,肺炎,COVID-19。为了确保数据的一致性,这比较实验使用相同的数据,从部分4.1500正常健康人样本,500例病毒性肺炎病例,500 COVID-19-positive样本。我们也使用相同的测试数据来评估比较实验。该方法实验配置是一样的。我们报道的性能比较实验,该方法在表1。它可以指出从表1该层次结构实现更高的性能在不同评价指标。

证明的有效性提出了双不对称网络中,我们比较了拟议的框架和相应的基线单一网络,ResNet-50和densenet - 201。在这些实验中,我们还用COVID-19检测的两级层次结构。该方法实验配置是一样的。接下来,我们分析了分类结果单一基线网络,该网络。图9显示了训练和验证的准确性和损失分析3在第一阶段的方法。在这个阶段,模型训练区分样本是否“正常”或“肺炎。“图10显示了训练和验证准确性和损失的分析在第二阶段3的方法。在这个阶段,模型训练区分“肺炎”案件是否与第一阶段是由“COVID-19造成的。“从数据9和10,它可以指出,有一个显著的改善方法的准确性和损失值。获得的灵敏度、特异性、精度 - - - - - -分数,并总结在表精度值2,我们的方法实现更高的性能与其他单一模型。此外,与相应的基线单一DCNNs相比,该方法需要更多的时间和更大的内存模型的训练。

(一)
(一)
(b)
(b)
图9
培训和验证分析,第一阶段超过50时代。(a, b) 3种不同模型的比较。在这个阶段,模型训练区分样本是否“正常”或“肺炎”。
(一)
(一)
(b)
(b)
图10
培训和验证分析,第二阶段超过50时代。(a, b) 3种不同模型的比较。在这个阶段,模型训练区分“肺炎”案件是否与第一阶段是由“COVID-19”造成的。
表2
敏感性,特异性,精度, - - - - - -分数,不同模型的精度值。

接下来,我们讨论了该小说损失函数的有效性。在培训过程中,提出了一种新颖的训练策略,增加了一个惩罚项传统熵损失函数。为了证明其有效性,本文通过使用传统的熵损失函数进行了比较实验。培训和验证准确性的分析Dataset-1超过50时代如图11,Dataset-2图给出12。图13显示了分析验证Dataset-1和Dataset-2损失。每个subfigure的人物11- - - - - -13包括性能损失函数和改进传统的叉叉成本函数。它表明,验证该方法的精度是100%在12世纪在第一阶段,验证该方法的精度是100% 13世在第二阶段。培训和验证该方法的精度高于传统的熵损失函数。此外,可以看出,传统方法的验证收敛损失价值大于该方法。从数据11- - - - - -13这部小说,我们可以得出这样的结论:损失函数通过添加惩罚项可以增加其能力集中在模型的误分类,加快收敛速度。

(一)
(一)
(b)
(b)
图11
第一阶段的培训和验证精度分析Dataset-1超过50时代。(a, b)比较传统的与我们的成本函数改进叉叉损失函数。
(一)
(一)
(b)
(b)
图12
第二阶段的培训和验证精度分析Dataset-2超过50时代。(a, b)比较传统的与我们的成本函数改进叉叉损失函数。
(一)
(一)
(b)
(b)
图13
验证Dataset-1损失分析和Dataset-2超过50时代。
4.7。比较分析

评估整体的有效性提出了网络,我们相比COVID-19的一些最先进的检测方法。陈等人。30.]融合pretrained MobileNet和SE块形成一个新的网络。Apostolopoulos et al。31日]从头训练MobileNet v2 COVID-19检测提取功能,已被证明在相关任务实现出色的性能。Gayathri et al。22)综合Xception和InceptionResNetV2 pretrained模型特征提取。然后这些特性被连接到一个autoencoder降低维数。Bargshady et al。13)采用CycleGAN数据增加,然后使用InceptionV3检测COVID-19。艾尔et al。32)提出了一个混合深层神经网络(HDNN)模型,这是一个混合的两个深度学习模型(LSTM + CNN)。Almalki et al。33)引入了一个新颖的模型称为CoVIRNet (COVID Inception-ResNet) COVID-19检测。阮et al。34)连接特性提取三pretrained深cnn显微图像分类。三个pretrained网络Inception-v3, ResNet152, Inception-Resnet-v2。陈等人。23)提出了一种双不对称模型,这是一个互补的组合ResNet50和densenet - 121网络。此外,迭代训练策略是用于培训。

表3显示不同的文献进行相同的数据集的结果用于本文。结果是衡量性能的五个指标包括敏感性,特异性,精度, - - - - - -分数,和准确性。从表3,很明显,该方法获得的其他研究相比性能优越。该方法的优势可以概括如下:(1)与单一的网络模型相比,“宽”体系结构建立了一个multifeature描述结构,它可以从输入图像中提取更多的和更丰富的功能由不同DCNNs(2)与其他“广泛”模型相比,我们的研究采用了层次结构来完成分类任务阶段,可有效解决这一问题所导致的误分类也不同对象之间相似的表达。这种机制有利于图像COVID-19的探索和分析(3)此外,我们还通过其他改进培训策略和网络。改进的损失函数和其他改进可以使模型关注的重要特性表示输入图像

表3
使用不同的分类模型用于COVID-19检测结果。

该方法的局限性是没有更多的数据用于模型验证。本文提出的方法应该有更多不同类型的数据集进行测试。

5。结论

在本文中,我们开发一个新框架检测COVID-19情况下基于DCNNs和层次结构。具体地说,两个不对称pretrained子网集成构建一个更广泛的体系结构,可以学习更多的歧视和互补特性。提高特征提取网络的性能,基于SE块注意力机制中引入网络。然后,两个任务训练与小说损失函数相结合的叉一个点球。为了验证上述模块的有效性,实现一系列消融的分析显示该方法的每个模块的贡献。验证整个算法的高性能,一些比较实验。结果表明,该方法与COVID-19分类的精度达到更高的性能。在未来的工作中,我们将进一步提高算法的适用性,以便它可以处理多个疾病分类在医学图像分析。

数据可用性

网站上的数据集是可用的:https://www.kaggle.com/tawsifurrahman/covid19-radiography-database/。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究是由长春科技开发项目(第21号zy35)。