文摘
新型冠状病毒、SARS-CoV-2可致人死亡,造成COVID-19。传播的缓解,加上其高容量感染疾病和死亡的个体,使其成为一个风险社会。胸部x光检查是最常见的一种,但最难以解释射线探伤coronavirus-related感染的早期诊断。携带大量的解剖和生理信息,但有时困难甚至专家的放射科医师获得它们所包含的相关信息。自动分类中使用深度学习模型可以帮助更好地评估这些迅速感染。深CNN模型,即MobileNet、ResNet50 InceptionV3,应用不同的变化,包括培训模型从一开始,微调调整学习所有层的权重,和微调学会了体重的增加。微调pretrained模型增强产生最好的结果。表现最好的,两个模型(MobileNet和InceptionV3)对集成学习选择产生的准确性和FScore 95.18%和90.34%,95.75%和91.47%,分别。提出混合合奏模型生成的合并这些深模型产生一个分类的准确性和FScore 96.49%和92.97%。对测试数据集,分别保存,生成的模型准确性和FScore的94.19%和88.64%。 Automatic classification using deep ensemble learning can help radiologists in the correct identification of coronavirus-related infections in chest X-rays. Consequently, this swift and computer-aided diagnosis can help in saving precious human lives and minimizing the social and economic impact on society.
1。介绍
微生物生活在美国,对我们和我们周围的环境。一些微生物生活在和谐与鸟类和其他动物物种,但是可以导致人类疾病,如通过的数量,从动物传播到人类的人畜共患传染病1]。的规模、范围和全球影响人畜共患病威胁不仅人类和动物的福祉,还全球安全与健康(2]。大约1500病原体导致人感染(3),而这61%的识别和75%的人畜共患的传染病在人类起源进化(2,4]。据估计,传染性疾病造成死亡率几乎16%的和44%的死亡率在低收入共和国(5]。据美国农业部,每年经济损失由于食源性疾病在美国估计在100亿美元和830亿美元之间(6]。人畜共患疾病每年造成270万人死亡,25亿人在人类疾病(7]。新兴负责许多重要的人畜共患传染病和破坏性的爆发8]。
冠状病毒是一种人畜共患病原菌(9],感染人类细胞的航空公司,结果导致肺炎和严重的呼吸道感染、肾功能衰竭,甚至死亡10]。空气中的病原体可以和其他表面从几小时到几天11]。卫生官员认为,病原体通过打喷嚏和咳嗽滴传播,但一些研究人员认为,其机载传输也发生(12- - - - - -14]。一个令人兴奋的研究预测,由于打喷嚏,病原体的粒子可以27英尺[旅行15]。易于传播,传染性小剂量、死亡和疾病的高容量/使它成为一个潜在的候选人生物战[16,17]。
在美国和欧洲,该病广泛流行,和数以百万计的人都受到了影响,数千人死于这种疾病(18]。报告在美国估计有2155572例和117632例死亡(截至2020年6月19日19]。美国顶级传染病专家预测,致命的病原体可能杀死多达240万人在这个国家20.]。在欧洲国家,比如英国、意大利、西班牙、法国、和德国,评估,约有120万人感染,其中010万人失去了他们的生命由于疾病(18]。英国卫生官员认为,病原体感染占人口的80%,和050万个人可以死由于流感大流行21]。世界各地,数十亿生活在self-quarantine或政府封锁。如果允许进行病原体,医疗基础设施将会不知所措,经济将会崩溃,数百万人宝贵的生命将丢失(22,23]。
冠状病毒将被感染鸟类和哺乳动物,以及猫、猪、狗、蝙蝠、鸡、穿山甲,和牛24]。研究表明,新型冠状病毒是通过蝙蝠或穿山甲传播给人类25]。人类和其他物种之间没有直接关联记录;然而,病原体是一种高度变异的微生物,可以很容易地跨越物种障碍(26,27]。
最常用的方法识别的新型冠状病毒rt - pcr (28)和ELISA (23]。必要的筛选步骤申请承认COVID-19病例rt - pcr,它可以识别来自下呼吸道病毒的RNA样品。以各种方式获得这些样本,如口咽或鼻咽拭子。尽管rt - pcr病原体识别被认为是一个黄金标准(29日,30.),这真的是时间、敏感、复杂的手工方法。
另一种过程,也可以用于新型冠状病毒筛查是一个摄影测试,在x光照片图像(例如,ct扫描或x射线)出席了放射科医生观察和检查与COVID-19明显迹象。早期的研究表明,患者在胸片图像直观显示违规行为的影响与SARS-CoV-2病毒性疾病(31日,32),一些提议,放射线检查可以应用作为病毒筛查的主要工具(在受影响地区29日]。有很多的好处对冠状病毒使用摄影成像筛查在大流行期间,特别是在严重影响和资源受限的区域。首先,这些测试是现成的,可以在我们的医疗基础设施。其次,他们可以迅速展开COVID-19病人,使他们真正的补充PCR检查(在某些情况下,甚至显示更大的敏感性)(33),特别是在地区大量病人,甚至是独立的病毒检查时不选择由于低供应。不过,遇到的最重要的瓶颈是有经验的放射科医生的需求评估x光图像,视觉指标可以很复杂(34]。然而,计算机辅助模型能快速、准确地帮助放射科医生评估识别病原感染导致COVID-19 x光照片图像。有一个重要的需要设计计算机辅助解决方案使用方便的和可用的胸部x光成像协助对抗冠状病毒大流行。近年来,机器和深度学习技术可以方便快速的诊断,预防和治疗由冠状病毒引起的感染(35- - - - - -38]。
最近,基于深度学习技术提供了持续的进步的效率和预测精度。这些模型显示优越的计算机视觉泛化能力来解决复杂的问题,特别是在生物和医学领域,如医学图像识别(39)、器官识别(40)、菌落分类(35,39),和疾病识别(41]。cnn在医学影像领域表现了杰出的结果比其他传统网络(41,42]。
随着巨大的出现分类数据训练,ImageNet [43),有效的预防技术过度拟合(“辍学”[44),而卷积神经网络(例如,SqueezNet [45],VGGNet [46]AlexNet [47],ShuffleNet [48],GoogleNet [49],Xception [50],ResNet [51],inceptionv3 [52],NasNet [53])揭示了优异成绩在图像分类问题54]。深cnn图像分类任务的最重要的好处是,完整的深构架中训练,从最初的原始像素最终类,这降低了手工特征提取器设计的必要性。然而,深CNN模型的主要缺点如下:(i)一个健壮的GPU机需要加快培训过程;(2)大量的训练例子权重的标签需要学习。
有时,个人微薄的处理能力和巨大的训练数据集,不幸的是,不能得到健壮的CNN模型的好处。熟悉的深度学习模型,如AlexNet [47卷积),5层3完全连接层,和一个SoftMax层,包括近6000万的参数。一些更深层次的模型,如VGGNet, 16 - 19层(46)和GoogleNet 22层(49)可以完成增强性能和拥有一个更大数量的参数。参数学习从有限的训练例子会产生过度拟合,即使其预防方法是利用。因此,如何实现cnn完成相似性能温和的数据集作为大规模数据集是一个非常具有挑战性的任务(55]。
应用pretrained深度模型的一个简单的解决方案在一个无关紧要的数据集是转移学习(56],它消除了最后几层pretrained深架构调整在一个独特的数据集。该方法可以非常有效,如果适当的hyperparameters设置,和有效的调整方法是适应的。另一个有效的方法也被用于分类的各种图像分类任务是学习合奏。也通常是一个机器学习技术,用于深度学习的方面获得更可靠的预测性能是通过合并的功能从众多深设计的分类器质量很好。
在拟议的研究中,我们组织了一个相对更大,平衡图像数据集有关患者的病毒,细菌,x射线和小说在x射线coronavirus-related感染,以及健康的人(见图1)。使用传输这些图像进行分类学习与微调pretrained模型来说明这些pretrained网络可以产生奇妙的结果当数据是有限的。除了学习和微调应用转移,我们也使用反射和旋转等传统数据增强技术(57),解决了训练数据不足的问题通过加强训练数据集转换原始实例。最后,我们建议一个深合奏学习模型组成的MobileNet和InceptionV3模型,产生比目前更优越的结果调整pretrained模型。设计设计达到优良的性能在图像数据集有关新型冠状病毒和其他相关胸部感染的x射线。
(一)
(b)
(c)
(d)
我们总结研究的贡献如下:(我)我们使用一个平衡的和更大的数据集有1050图片的四个类别,即。,正常,病毒,细菌,COVID-19。(2)我们提出一个深模型特性的融合深度模型整体学习使用。模型进一步整合转移学习、调整、扩充,hyperparameter调谐到一个设计。(3)该模型进一步应用4倍交叉验证来验证提出方法的性能。(iv)测试数据集50图像的四个类别也一直看到模型的普遍性。
部分2提出了文献综述。部分3给出了提出的方法的全面分析,包括部分如CNN架构的概述、数据增加、深CNN模型和转移学习。部分4讨论后的成果应用各种深度模型和比较他们的建议方法。最后,部分5提供了本文的结论。
2。相关工作
深度学习和图像处理算法在生物医学图像分析和处理生产异常尤其是胸部放射学领域的结果。这些技术经常用于肺结核进行分类(58)和肺结节识别(59]。我们可以说有各种方法成功地申请这些致病病原体的自动分类。等,不同的方法如cnn、整体学习和特征提取。短审查现有文献的一些重要贡献。
Stephen et al。60)从一开始就呈现出深模型训练检测和肺炎在胸部x光图像进行分类61年]。事先模型从图像中提取相关的特性,利用它对疾病进行分类。的数据集包含64%的训练,36%的验证数据。模型达到93.73%的精度损失0.1835小数据集的帮助下微调,hyperparameter优化和扩充。
在[62年),一个基于压缩感知的深度学习模型计算机辅助疾病的检测在胸部x光图像医生建议支持。在这项研究中,5863年使用的数据集的图像从Kaggle正常或异常的患者。广泛的仿真结果表明,建议的程序允许肺炎的分类(正常/异常)远见的准确性为97.34%。
东印度缎木和Unver写道63年]提出的早期肺炎诊断胸部x光图像基于VGG16和Xception pretrained网络。属于健康的病人的数据由1583张图片和4273年肺炎病人相关的图片。结果表明,Xception生成87%的准确性和VGG16产生82%的准确性。混淆矩阵显示每个网络都有自己的功能,Xception更成功地检测肺炎的结果,和正常情况下Vgg16性能更好。
Varshni et al。64年)应用pretrained深度学习模型,即。,(ResNet50, Xception, DenseNet121, VGG-16, DenseNet-121, and DenseNet169) for feature extraction, and classification is performed using various machine learning models, i.e., (K-nearest neighbors, SVM, Random Forest, and Naïve Bayes) for the classification of pneumonia using X-ray images. In order to improve the results, hyperparameter optimization was applied on chest X-ray dataset provided by Wang et al. [65年]。
Chouhan et al。66年)提出了一个集成学习技术,连接输出从所有开门深度学习架构确定疾病通过应用转移的理论学习。作者利用数据集从广州市妇女儿童医疗中心(67年),其中包括一笔5232张照片,其中1346将与普通肺炎。剩下的3883张图片,2538图像与细菌和1345张图片与病毒感染有关。整个模型达到96.4%的产出99.62%的召回数据集的机密信息。
各种CNN架构的性能在不同的异常根据自由访问OpenI数据集(68年)观察到相同的深CNN模型不给所有异常类型(可接受的结果69年]。然而,整体学习大大提高分类精度比一个深架构。最终,深CNN模型增加精度比基于规则的方法。
王等人。70年)提出一个深学习模式为冠状病毒从CT扫描图像检索的视觉特性分类。研究包括1065患者的CT扫描图像,其中740图像的病毒性肺炎,和325年COVID-19的图像。设计达到79.3%的精度。
徐et al。71年)提供一个可以区分COVID-19三级设计,病毒,和正常的实例。有效过程完成86.7%的准确性与618 CT扫描图像样本(175健康,224病毒,和110年COVID-19)。
沙丘状积砂等。72年报告迅速AI开发周期的深度上优于CT图像分析。因此,引用的文学作品使用私人数据集开发深上优于COVID-19的诊断系统。
Apostolopoulos et al。73年)提出一个三级设计区别正常,病毒,和COVID-19实例使用转移学习技术。504年的数据集包含正常,700个细菌,和224年COVID-19 x射线图像敏感性,特异性,和准确性为98.66%,96.46%,和96.78%,分别。少量的数据包括积极COVID-19实例,所以结果可能会发生显著的变化在一个更大的数据集。
在[74年,75年),作者目前的开源数据集包括COVID-19 x射线图像。在[74年),学者建议整合开源数据集以及深CNN模型称为COVID-Net新型冠状病毒的分类。8066年的数据集包含正常,肺炎,5538和358冠状病毒图像。COVID-Net模型适用于CNN架构与胸部x射线作为输入。模型达到93.3%的精度有限COVID-19图像。
Afshar et al。76年报告一个Capsule-based模型,称为COVID-CAPS。数据集包含94323个通用胸腔疾病的x射线图像。从美国国立卫生研究院库中提取,包括训练和验证数据分流比为0.9:0.1。网络实现的特异性为95.8%,准确性为95.7%,和90%的敏感性。
阿巴斯et al。77年)提出一个卷积模型进行降维将高维特征空间转换成更低的。80数据集包括11非典,正常,和105年冠状病毒胸部x光图像。设计达到95.12%的准确性,特异性为91.87%,敏感性为97.91%。
Ucar和Korkmaz78年)调整挤压净pretrained模型使用贝叶斯优化过程分类coronavirus-associated感染的x射线图像。3895年的数据集包括肺炎、66 COVID-19,和1349年正常胸部x光图像分割比例为0.8:0.1:0.1。一分钟数据集设计提供了令人鼓舞的结果,需要与大量的数据集验证COVID-19图像。
汗等。79年)应用Xception pretrained深模型自动分类COVID-19在胸部x光图像。284年的数据集由冠状病毒,327病毒性、细菌性肺炎、330和310正常图像。设计达到四级的87.5%和95%的准确性问题,三级问题(COVID-19、肺炎和正常)一个小数据集。
最近的方法也使用肺部分割[80年],使用深度模型特征提取和纹理描述符(81年]COVID-19分类的x射线图像。另一个最近的研究(82年)比较各种技术来推断出模式由神经网络学习不相关冠状病毒的存在在x射线图像。
大部分的报道方法取决于深度学习随着增大,微调,整体学习分类的肺炎。这些技术产生了杰出的结果和现在被用来识别小说在胸部x线摄影coronavirus-associated感染。大多数COVID-19分类方法使用温和的数据表现出令人鼓舞的结果,但不能保证这些设计会产生类似的结果在一个更广泛的数据集。除此之外,许多早期的研究数据集使用的大多是不平衡的。在大多数的方法中,交叉验证不应用于检查模型的泛化能力。据我们所知,使用整体学习只有少数研究(见表1)。
在我们的方法中,我们使用一个平衡和大型数据集有1050图片的四个类。通过应用等方法调整,转移学习,增强,整体学习的研究说,该模型更广义和产生了良好的效果。
3所示。材料和方法
在最近的研究中,学习以及微调和增强就业转移到pretrained深模型,来评估他们的表现。然后,提出了一种混合使用整体学习深度学习模型,由MobileNet和InceptionV3架构。整体学习模型达到性能优良在胸部图像数据集有关chest-related感染(见图2)。
3.1。数据描述和增加
COVID数据集包括胸部x光图像属于4类(正常,细菌,病毒,和COVID-19)。1050数据集包含4200张图片,每个类别有关。图片关于三个类,即。,(bacterial, viral, and normal) were retrieved from the Kaggle dataset [90年]。COVID-19总1050张照片,912年从一个开源Mendeley检索数据集(91年收集),剩下的三个开源库,即,(i)意大利社会医学和介入放射学(形貌)92年),(2)Radiopaedia [93年),(iii)和github (75年]。
增加应用于该模型增强的数据量,避免过度拟合(40,68年,制定一个更一般的模型。等增强程序随机旋转,随机水平反射,随机垂直反射,应用范围的水平和垂直剪切生成一个增广数据集。增加的细节如下:(我)随机旋转:图像旋转随机度根据指定的范围内(2)随机水平反射:水平反映图像从左到右的概率为50%(3)随机垂直反射:从上到下垂直反射图像的概率为50%(iv)随机水平剪切:图像是根据指定的水平共享度(v)随机垂直剪切:图像是根据指定的垂直共享度
3.2。预处理
此外,胸部放射学图像COVID-19数据集的规模大,有一些图片尺寸为1007×1024像素。所以,图像是根据pretrained调整模型用于分类。移动网络和inceptionv3输入大小224 -通过- 224和299 - 299年,分别。根据提供的图片会做调整和选择pretrained深度模型。在某些情况下,扩展的黑色背景,围绕一个x射线图像被种植。
x射线主要是大规模的图像,例如,1007×1024像素的灰度。这些图像需要调整大小和三路转换为图像。在这之后,他们可以接受作为输入深度学习模型。各种MATLAB内置参数和函数用于执行预处理,细节如下:(我)调整输入图片:输入图像的大规模需要调整根据输入深CNN模型的规模。一个imresize()的函数接受两个参数作为输入(形象,new_image_dimension)。因此,函数返回一个缩放图像。(2)将灰度图像转化为三通道图片:pretrained深模型使用一个彩色图像作为输入。为了将灰度图像转换为三通道图像进行预处理,_Xray()函数,它接受一个图像作为输入,并将它转换成一个三通道图像适应现有深度学习模型。
3.3。Hyperparameter调优
在当前的研究中,我们试图估计的影响许多hyperparameters调查pretrained模型的性能,如时代、批量大小,学习速率。具体地说,我们有三个深模型评估:MobileNet, ResNet50, InceptionV3。为每一个深模型,我们进行了微调在随后的参数:学习速率= {3e−6日1e−3,1e−4日1e−5、4e−6、2e−5,1e1−8日e−6、2e−5,1e−7},批量大小={24、32、48、64},和时代={10年,20年,30、40、50、60、80、100,150,160,200,300,350}。
深模型,许多变化hyperparameters被使用,但大多数情况下,这些模型表现出好的结果与批量大小的{64};然而,对于初始培训时代学习{1e7−1e−6}是富有成效的,慢慢学习速率增加,和一些变体申请各种模型。不同的细节hyperparameters应用培训期间各种CNN模型如表所示2。维持一个平衡利用GPU资源能力,我们已经认识到24价值最小批量大小。
3.4。卷积神经网络(cnn)的概述
CNN的背景取决于传统神经网络的理论。卷积设计由众多的构建块,例如,卷积,池、和完全连接层。复制的标准设计由一堆许多卷积层和汇聚层,由一个或多个完全连接层。通常,卷积操作后,我们通常执行池操作降低维数,我们可以减少参数的数量,减少训练时间,也认为过度拟合。池层样品的内容特征图,减少体重和身高,以及保持其特色。完全连接层寻求达到中层功能。执行一个完整的连接在这些层需要大量的重量参数。
CNN的训练前馈的方式开始,因为它开始从最初的输入层最后一层。然后,这个错误传播反向的方式开始的,从最后一层一层的卷积。让是神经节点层它接受一个输入的神经节点的层在传球前进,计算如下考虑: 在哪里和偏见的术语和权向量的吗hth层,分别。ReLU,一个非线性函数,用于计算输出如下:
卷积和完全连接层的所有神经节点使用公式(1)和(2)计算输入并生成输出的非线性激活。池层利用 广场上滑动窗口 特征映射和需要的平均或最大价值功能在窗口。因此,它降低了特征映射的空间维度 来 因为它生成一个值 地区。
将SoftMax函数计算每个病原体在最后一层的分类概率,给出了方程(3),如下:
反向传播过程火车CNN。这个过程最小化代价函数为未知的权重 。成本函数如下:
在方程(4),米代表的总数在训练集训练实例,是实例的训练集和它的标签 ,而真正的分类概率 。
3.5。转移学习和微调深度学习模型
在训练层深度模型的权重,在每次迭代后更新。存在314层和2500万InceptionV3设计可学的参数,而在MobileNet,存在88层和420万参数。为各种pretrained架构,有不同数量的参数和层(见表3)。
对于这些CNN的优化和训练模型,大量的数据是至关重要的。相对稀疏数据集,是非常具有挑战性的学习成本的合适的局部最小值函数,给出了方程(4),模型过度拟合的经验。因此,最初,重量从InceptionV3回收和MobileNet模型。重量转移后,我们调整MobileNet和InceptionV3 COVID-19数据集采用几批大小的变化,学习速率,时代的数量。pretrained主层模型持有通用特性,以及随后层持有特定于域的功能。为了留住的特性主要层完好无损,减缓学习剩下的传输层,最初的学习速率是固定的,一分钟的价值。不过,学习速度在最近添加层传输层,充分的学习速率连接层设置为高价值。的结论完全连接层架构包含1000个神经元,协调ImageNet类别的数据集,所以收购COVID-19和各种相关感染的特定于域的特性在胸部x光图像,这一层是设置为4神经元根据COVID-19_数据集的类别。深pretrained架构、整体学习转移学习,会在后续章节中描述。
3.5.1。MobileNet
MobileNet分类任务的是一个深度学习模型,旨在最大限度地在硬件资源有限的设备精度。这是一个小型、低功耗和低延迟模型,指定遇到各种用例的资源限制。它可以执行分类、分割、检测和嵌入的像最近成功的深层学习模型,如《盗梦空间》(94年]。在本部分中,我们首先阐述MobileNet依赖的主要层,切除分离过滤器,然后解释其架构:
(1)切除分离卷积。MobileNet架构取决于切除分离卷积,卷积是一种映像。它因式分解一个正则卷积切除,1×1卷积过滤器被称为点态卷积。MobileNet,切除卷积雇佣每个输入通道只有一个过滤器。然后点态卷积雇佣1×1卷积滤波器卷积混合切除的收益率。一个标准层在一个步骤执行卷积滤波以及将输入数据组合成一组新的输出数据。切除的分离卷积分离成两个,一个层进行过滤,另一个用于合并。这一步的分解的影响大大减少计算和设计体积(94年]。卷积图说明一个标准层映像中切除卷积过滤器和1×1卷积过滤器(见图3)。
(一)
(b)
(c)
(2)网络体系结构。MobileNet模型装配在切除卷积分离层,如前一节所讨论的除了1圣层,一个卷积完全连接层。通过描述模型在这种简单的方式,我们可以轻松地检查模型拓扑发现一个可靠的模型。MobileNet架构表所示4。
每一层后,有一批标准化,ReLU,除了最后一个完全连接层,具有非线性,由SoftMax层成功执行分类任务。图不同于层与普通卷积,批正常化,和ReLU映像层,dw卷积和1×1点态卷积,以及batch-norm, ReLU卷积后每层如图4。抽样管理与步幅卷积的dw卷积除了初始层。结论平均池层减少空间维度完全连接前一层。尽管考虑点态,切除沟回不同的图层,移动28-layers架构流程。
(一)
(b)
3.5.2。InceptionV3
InceptionV3卷积模型,包括48层。模型训练在一百万多个图像从ImageNet存储库(43]。pretrained模型可以将图像分为1000类。因此,模型学习丰富的功能为各种图像。
InceptionV3 inceptionV2的改进版本,实现巨大的能力执行图像分类任务的分解卷积5×5层成卷积两个更简单的3×3层。表征通过添加正则化,消除了瓶颈部分损失的过程。独特的InceptionV3设计限制过度拟合和平滑在很大程度上完成了标签。架构也因式分解一层7×7卷积和加入几个不同的深层CNN批标准化技术,产生更大的精度计算复杂度较低。图显示的详细结构InceptionV3模块(见图5)。
3.5.3。系综分类
这些类型的cnn非线性设计学习复杂关联的帮助下从输入数据随机优化和反向传播使得他们非常容易受到任意重初始化和噪声存在的训练数据集。可以减轻这些问题通过应用整体方法通过培训各种深度学习架构和合并他们的预测,在一个特定模型的缺陷是平衡了额外的预测模型。加入预测被证明是比个人深架构(89年]。存在许多乐团学习方法中规定的研究,包括简单混合,叠加,马克斯投票,提振,加权平均和各种其他减少方差误差,提高性能和深pretrained模型的泛化能力。实现胸部x光检查时,的贡献者58,95年,96年]杠杆的使用一个整体学习的肺结核x射线的分类可以帮助实现更好的结果。平均集成学习技术应用于pretrained深模型帮助研究人员的69年)对增强心脏肥大分类利用胸部x光检查。
起初,我们从两个表现最好的模型进行特征提取,即。(MobileNet和InceptionV3)。然而,在特征提取之前,三个致密层添加到这些选定的模型,模型,帮助在学习复杂的特性。随后添加层帮助从这些深特征融合模型。然后,我们添加一个0.5辍学层,在分类之前,这有助于在解决训练时间长和过度拟合的挑战97年]。
3.6。实验
3.6.1。软件和硬件
当前方法应用等pretrained MobileNet今年InceptionV3使用MATLAB R2019b和月份,nvidia geforce 2070年8 GB的GPU DDR6板载内存着14 Gbps的频率,频率为1620 MHz和2304核。该系统还包括16 GB DDR4, 1 TB SSD硬盘,进一步提高了系统的速度。网上这些pretrained深度模型和可以安装/使用附加探险家从MATLAB网站下载。
操作。性能的措施
比较不同深度模型和提出的方法,我们使用精度等各种性能措施,回忆,和FScore精度,精度无法确定模型的有效性(98年]。在实验期间,75%的数据集训练模型,和25%是用于测试目的。应用4倍交叉验证来验证提出方法的性能。这些交叉验证结果平均精度和FScore等生产性能的措施。
模型计算的准确性如何预测正确的分数。精密测量的重现性学习或正确的预测。召回决定了正确的结果。F分利用计算精度和召回的平均分数。以下方程显示如何计算这些指标、TP、TN、FP,和FN真阳性,真阴性,假阳性、假阴性,分别为:
3.6.3。实验策略
各种实验策略采用显示微调,增加深度学习的影响模型与ImageNet pretrained重量和没有这些prelearned权重。这些策略如下:(我)深模型从头训练目标数据集没有任何之前学的重量从ImageNet数据集(2)微调深模型最初的目标数据集上没有应用任何扩张的策略,同时保持pretrained重量和解冻的所有层模型(3)微调深模型在目标数据集应用增强策略,以及保持pretrained重量和解冻的所有层模型
4所示。结果与讨论
部分展品CNN模型的实验结果以及讨论改进这些方法,即。,整体收入、增加和转移学习,带来了提出的方法。最初,我们选择两个best-accomplishing深度模型和从这些模型中提取特征通过应用集成学习的方法。对分类,一个完全连接层,SoftMax层,和一个分类层被添加到混合整体模型。首先,我们将检查这些深度学习模型的性能在三个不同的方面,当这些模型(i)培训从一开始,(2)调整层解冻,和(3)增加和调整所有层解冻。为每个方法,精度,还记得,FScore,计算精度在COVID-19深架构数据集(见表5)。
通过分析这些矩阵COVID-19深度模型的数据集,我们可以得出以下结果:(1)在这个小数据集,流行的浅分类模型生成明显好于更深层次的模型,这些深模型训练的分类矩阵从头描述。这些深模型生成精度相对较低,还记得,FScore和准确性,因为他们没有得到充分训练由于大量的参数和训练数据不足。以前的作品还报告说,浅模型显示更好的结果比更深层次模型对图像分类任务(55]。(2)微调是利用多个pretrained CNN模型使用胸部x光图像,帮助深模型收敛迅速,获取特征与一个特定的领域。它还可以帮助改善这些深度模型的准确性和FScore,即使从头训练在图像分类任务。结果描述,模型只在原COVID-19调整数据集可以大幅提高准确性和FScore,即使模型是从头开始训练。之前的研究也显示,微调深模型是至关重要的可重用性(99年]。最近的研究已经证实,微调是有效的为不同类型的分类问题在生物领域的One hundred.]。(3)转移学习应用于我们所有的方法除了从头训练模型,表明无论转移学习应用,有一个大幅增加所有矩阵的性能。一些著名的调查(92年,93年,101年)研究人员增加我们的观点转移学习可以产生杰出的成果,尤其是在小型数据集55,92年]。(4)增加也十分有用,增加模型的性能,特别是当数据集很小。卷积模型,与传统的增强过程,可以使pretrained CNN模型实现增强性能。表现出的结果,在采用增强的方法,几乎所有的CNN模型观察1 - 3%提高精度,增加1 - 2.5%召回,FScore 1 - 2.5%, 0.5增加-1.1%精度调整前CNN模型没有增加。调查也维持我们的意见,增加可以帮助提高性能和生产更广义的原型没有过度拟合的威胁(55,102年]。(5)在拟议的整体模型中,两个主要深模型(MobileNet和InceptionV3)对集成学习选择生产精度和FScore 95.18%和90.34%,91.47%和95.75%,分别。MobileNet取决于流线型的建筑设计,适用于切除可分离旋转过滤和合并的不同层。分解已经大幅减少计算成本和设计方面的影响(94年]。这种类型的网络具有较小数量的参数调整,标准卷积网络相比,这样可以减少过度拟合。最近的一项调查显示,InceptionV3模型,调整使用胸部x光片电影有关肺结节的考试,完成了很棒的结果的诊断胸疾病,类似于专家放射科医生的结论103年]。另一个研究也适用于转移学习和深模型如InceptionV3在胸部x光检查肺炎的分类(66年]。《盗梦空间》其架构利用映像块,促进界面选择适当的内核大小卷积层,设计可以获得大的高级和低级特征和较小的卷积层(104年]。(6)提出整体模型生成精度,还记得,FScore,精度为93.01,92.97,92.97和96.49%,分别向微调和扩张策略。模型产生一个更好的精度,还记得,FScore,精度比任何个人的深度模型。该模型精度几乎增长1 - 4.2%,增加2 - 5%召回,FScore增加2 - 5%,准确度增加1 - 2.2%所有雇佣CNN模型(见表5)。各种研究提出与传统的CNN模型相反,整体学习模型通过合并深CNN获得更多有用的特性从训练图像数据。这些整体模型在图像分类任务完成出色的结果在不同的领域(95年,105年),还有肺炎分类(66年)、心血管组织识别(106年),尤其是放射学领域的图像(89年,97年]。(7)单独的测试数据集,一直,模型精度,还记得,FScore,和准确性为89.93%,88.38%,88.64%,和94.19%,分别。(8)混淆矩阵进一步阐述了该模型的测试结果COVID-19数据集(见图6)。Fold-1第一个矩阵表明,有五个错误分类在正常和没有错误分类COVID-19类。然而,误分类是相对较高的其他两个类(细菌和病毒46 22日)。同样,在所有的四倍,只有一个误分类COVID-19类和十四个正常班误分类。(9)图显示了所有ROC曲线COVID-19数据集的四倍。这些曲线绘制,进一步分析了方法的性能测试数据集(见图7)。曲线下的面积50%以上为可接受的性能和面积约100%代表了最佳性能。中华民国曲线在图7反映模型生成的优秀结果COVID-19数据集的四倍。
(一)
(b)
(c)
(d)
过度拟合可能是一个很大的挑战,特别是在训练不足的例子。设计可以完成大量的训练精度,但是当测试看不见的真实数据,它可能不推广的新实例。所以,调查的一个重要的问题是,是否过度拟合或该模型广义提供实例。执行这种比较,我们估计的性能整体模型通过评估验证和训练曲线之间的差距在任何时代。更广泛的空间曲线,过度拟合越高。
情节显示精度的变化和损失之间的培训和验证深度模型的曲线,随着时代的变化(见图8)。模型的训练曲线与fold-3,进一步训练,增加准确性。训练后25时代,有轻微增加准确性和减少损失。的图也说明了验证和火车并排曲线进行没有差距,这表明没有过度拟合,和整体模型广义正确了所提供的实例。
(一)
(b)
5。结论
在最近的研究中,一个深冠状病毒分类技术,将整体学习的好处,微调,数据增加、转移学习区分四个不同类别的chest-related感染使用更大的和平衡的数据集。整体学习有助于合并不同模型的品质而克服单个模型的不足。微调有利于模型收敛迅速并获得特定于域的功能。数据增加使训练数据集更多才多艺,提高泛化能力的设计,从而有助于管理过度拟合问题。转移学习地址需要大量的训练数据。提出了深度学习设计由MobileNet和InceptionV3架构,产生更好的分类结果比任何选择调整pretrained模型。最后提出了模型实现精度,还记得,FScore,和准确性为93.01%,92.97%,92.97%,和96.49%,分别。为测试数据,模型精度,还记得,FScore,和准确性为89.93%,88.38%,88.64%,和94.19%,分别,这可以极大地帮助放射科医生和诊断人员的正确识别新型冠状病毒病原体在胸部x光检查。斯威夫特和计算机辅助诊断中使用我们的模型可以帮助节省宝贵的生命,从而减少对公民社会的社会经济影响。
然而,数据集仍然是一个高度不够准确和实用的深度学习解决方案,可以接受作为识别的基准COVID-19感染患者x射线图像。在未来的工作中,为了进一步提高分类精度,FScore模型进行,而利用显著更深层次模型训练和测试数据集要大得多。随后,提高分类精度和FScore将改进模型的可靠性和效率。
数据可用性
使用的数据来支持这个研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
补充材料
COVID-19数据集提供补充材料,包括胸部x光图像。(补充材料)