文摘

2019年12月下旬,在中国武汉,发现了一种新的冠状病毒。2020年3月,世卫组织宣布这种流行病已成为全球大流行的新型冠状病毒可能是温和的对大多数人来说。然而,有些人可能会经历一场严重的疾病,导致住院或死亡。COVID-19分类仍然具有挑战性由于歧义和与其他已知的呼吸道疾病,如SARS相似,即和其他病毒性肺炎。COVID-19的典型症状是发烧、咳嗽、发冷、气短、嗅觉和味觉丧失,头痛、喉咙痛、胸痛,混乱,和腹泻。本研究提出的概念转移学习使用确定性算法在所有二进制分类模型和评估各种CNN架构的性能。746 CT图像的数据集COVID-19和non-COVID-19分为训练、验证和测试。各种增强技术是应用于增加数据集的数量,除了测试图像。图像被pretrained利用CNN获得二进制类。ResNeXt101和ResNet152最好的F1得分0.978和0.938,而GoogleNet F1得分为0.762分。 ResNeXt101 and ResNet152 have an accuracy of 97.81% and 93.80%. ResNeXt101, DenseNet201, and ResNet152 have 95.71%, 93.81%, and 90% sensitivity, whereas ResNeXt101, ResNet101, and ResNet152 have 100%, 99.58%, and 98.33 specificity, respectively.

1。介绍

各种类型的肺炎的出现,如严重急性呼吸系统综合症(SARS),有一个世界死亡人数,并威胁美国的实质性原因。尽管最新的技术发展,很难预测和检测新兴疾病(1];肺炎是140万年估计的18%不到五岁的儿童每年死于肺炎(2]。每年二十亿人罹患肺炎。有很多新型传染性疾病暴发导致病毒性肺炎。这些疾病可以感染动物,从禽流感,猪流感,非典,即,埃博拉病毒。COVID-19暴发的数量增加了四倍利率自1980年代。峰值增加流行导致了世界卫生组织(世卫组织)一再提醒,时间会来当流行病会攻击我们。在2019年新年前夜,中国卫生当局已激活的响应级别后爆发的小说在中国中部病毒性肺炎。

迅速越来越多的人开发了一个干咳嗽和发烧之前被诊断为肺炎。一些受感染的病人经历了严重的疾病,包括死亡。中国卫生当局试图追溯它的起源。可能是在食物来源市场称为华南市场,武汉,中国3]。41例与疾病联系的早些时候报道说,27日参观了食品市场。中国官员立即关闭市场,因为它发生了。2002年,冠状病毒出现在一个类似的市场在中国南部,特别是在广东省佛山市,蔓延至29个国家和800人死亡。经过近二十年后,当前与106295553例冠状病毒已经感染了221个国家和地区,造成2371923人死亡,直到2021年2月6日3,4]。

SARS-CoV-2是120纳米(十亿分之一米)。一亿病毒颗粒需要适合的销针。然而,人类只需要几百粒子被感染和出现症状5]。说明现在我们COVID-19广为人知。

1.1。背景COVID-19

一般来说,病毒使我们生病起源于动物。有些病毒导致来自鸟类和猪流感。艾滋病毒/艾滋病来自黑猩猩。致命的埃博拉病毒源自蝙蝠。病毒源自蝙蝠在COVID-19,蔓延至穿山甲,最后感染人类。COVID-19可以传输隐蔽和污染几乎每个人,在寄主繁殖,同时感染其它主机。病毒已经能够逃避自己从我们身体的免疫系统。像所有的病毒,他们盲目的遗传材料,通过进化适应任何环境。COVID-19是最重要的公共卫生危机持续几百年。RNA商店所有的遗传信息的复制。 The composition of the COVID-19’s RNA is more superficial than our human being’s DNA. The short strand of the COVID-19 RNA is protected by a fatty outer membrane coat that breaks apart easily when it encounters soap and water [6]。

因此,国家频繁的、更为持久的洗手活动建议。病毒的外膜突出stud-like峰值像王冠。峰值的功能渗透到我们的细胞,瞄准哪些疫苗的创造者。COVID-19可以感染了呼吸、咳嗽和打喷嚏从一个人到另一个。一旦COVID-19可以获得一个新的主机,它侵入细胞。人类细胞有一个致命的弱点,一种叫做ACE2的酶控制人体的血压在表面上。COVID-19病毒高峰分享类似的形状紧密附着ACE2的酶。一旦病毒的结合到酶完成,打开人类细胞,让病毒进入细胞和控制。ACE2酶被发现在整个身体,包括咽喉、肺、眼睛,鼻子。因此,尽可能经常洗手和抗拒的冲动摸鼻子或擦眼睛。 Once the virus penetrates the cell, it releases a genetic code and immediately take overs the cell. The virus then begins to generate endless copies of it and simultaneously infect more cells in the process. The virus can multiply itself a million-fold. Generally, any virus evades into the human body and starts reproducing; the human body’s immune system can fend the evaders off and unleash an attack upon the virus. COVID-19 virus, however, can trick the human body’s immune system and cover the spikes with a layer of glycan sugar and disguise itself as viral proteins, which help them evade the body’s immune system. The COVID-19 virus devastates the human body with a swift, incognito, powerful attack; it is a battle between the COVID-19 virus and its immune system, which dictates its severity of illness. COVID-19 virus can silence the alarm of the human body’s immune system, and thus most infected people start showing symptoms several days later. Hence, people exposed to a person infected with COVID-19 must quarantine themselves, regardless of whether the COVID-19 test is positive or negative. Some people have COVID-19 viruses in their bodies but never show symptoms. These people are known as “asymptomatic carriers”. They travel everywhere blissfully; unbeknownst that they are distributing potentially lethal viruses everywhere they go.

COVID-19病毒和其他冠状病毒的区别在于一个人的能力并没有显示显著的症状COVID-19病毒和感染他人。冠,a.k.。“非典”:2002年,一位美国商人从中国到新加坡旅行发生在越南被类似肺炎症状在飞行途中,被立即起飞飞机医院在河内。随后,商人去世了;医务人员对待他之后,出现症状,其中一人死亡。非典显示比COVID-19致命,因为它10%的感染者死亡。然而,“非典”显示其症状之前就具有传染性。SARS病毒不能绑定自己的ACE2酶在人体的呼吸道传染性COVID-19一样有效地使它小于后者。自从SARS病毒无法掩饰它的存在从人体的免疫系统或绑定本身有效,它没有造成大流行。有8000报道非典病例和774人死亡。 In 2004, there were no new SARS cases reported.

一旦COVID-19病毒进入人体,它鼻子感染的细胞和上层的喉咙。因此,第一个症状通常是干咳。有些病毒通过喉咙和绑定到肠道ACE2酶,引起腹泻。当它穿过气管和肺部浸润致命病毒,随后绑定与ACE2酶,引起肺炎等症状,包括发烧、咳嗽、发冷、气短、胸痛。症状对COVID-19迹象表明身体对抗病毒。人体的先天免疫系统激活中性粒细胞,即。,一个类型的白细胞和巨噬细胞。一个健康的人可以依靠先天免疫系统控制COVID-19病毒。然而,有些人可能经历严重的疾病,因为COVID-19病毒已经从喉咙到肺部,导致干咳是更严重;的人通常发展发烧超过100.4°F;呼吸急促发展骨头疼。 When the infection becomes severe, the T-killer cells are activated to destroy cells that COVID-19 viruses have infested. Plasma B cells release billions of antibodies and try to eliminate COVID-19 viruses. Since the COVID-19 virus is novel, the human body has never encountered the particular virus before. The antibodies require longer to develop into the exact shape that binds to the COVID-19 viruses’ spikes. Therefore, once the antibodies are developed, they can be during the later stage of the illness. A healthy and active immune system is essential to overcome COVID-19 viruses. Hence, senior citizens over 60 years old tend to have weaker immune systems, and the adaptive response to the COVID-19 viruses is slow. Unexpectedly, most senior citizens’ immune systems overreact while battling the COVID-19 viruses, creating a surge of aggressive immune cells that can damage the lungs and other organs in the body, causing them to be even weaker. Some COVID-19 patients recover, and some will not. COVID-19 patients who did not recover experience shortness of breath, and they get their lungs scanned by chest X-ray (CXR) or computed tomographer (CT).

放射科医生寻找“毛玻璃的透明。“肺部模糊斑点最严重形式的肺炎的迹象被称为急性呼吸窘迫综合症,或ARDS。肺部肺泡充满液体,减少COVID-19病毒病人吸收氧气的能力,造成病人是上气不接下气。免疫系统激增,T-killer细胞,抗体、细胞因子渴望摧毁病毒同时破坏健康的组织。一旦肺部肺泡充满了液体,身体有足够的氧气供应其他器官,特别是大脑。病人被发送到重症监护室,医生和护士在哪里与个人保护装备(PPE)完全打扮。病人空气控制不住地喘息声。医疗提供者决定如果病人需要一个氧气面罩,插管,或使用呼吸器取决于疾病的严重程度。的患者使用呼吸器,死亡的可能性是很高的。病人存活通风机永远不可能完全恢复。 At this point, the immune system is not only targeting the lungs, but it has also spread all over the body through the bloodstream. The liver, kidneys, guts, and brain are simultaneously attacked. When the COVID-19 viruses travel through the bloodstream, they form blood clots and subsequently cause heart inflammation. Once the COVID-19 virus reaches the brain, it can cause seizures.

COVID-1也大大类似非典的病理与一般症状有发热、干咳,呼吸短促,和疲劳1]。不良患者的胸部x光图像显示间隙,肺泡的透明和磨砂玻璃透明度基本上在肺部的外围1]。大多数全球机构采用了实时聚合酶链反应(rt - pcr)检测病毒一致。rt - pcr是不容忽视的问题,这是可靠的足以消除假阳性和假阴性结果。假阴性的数量可能会导致一个指数增加,击败对抗流感大流行的目的。

放射科医生已经使用胸部CT检测COVID-19感染通过使用特定的和一致的特性,如磨砂玻璃的透明在早期阶段和后期与线性合并肺栓塞。自从COVID-19肺炎类似的症状,检测这两种病毒肺部疾病混淆。研究描述,胸部CT诊断的敏感性更高COVID-19相比,rt - pcr检测(7]。在大流行期间,评估可能的COVID-19患者的CT图像的方法是手动和劳动密集型的。因此,另一种解决方案是需要自动化进程,获得精确的和早期检测控制COVID-19的传播。

卷积神经网络已经申请对象检测、识别、分割,甚至分类为各种疾病和医疗行业做出了贡献。表现模型像ResNet508),《盗梦空间》(9],ResNeXt [10],DenseNet [11可以应用于图像分类。这些模型的权重训练使用数以百万计的图像识别的工作原理类似。模型可以使用批处理正常化,提高regularisation, CNN hyperparameters微调。基于这项研究由兰德et al。(12),该模型是基于VGG16和ResNet50 5倍交叉验证二进制和多级分类平均精度为88.52%。研究表明,该模型很好二进制分类工作。然而,包括肺炎时性能下降的第三类研究[12]。塞吉奥和帕特丽夏进行的一项研究[13)描述了一种混合方法模块化集成人工神经网络与模糊逻辑诊断肺部疾病,如肺炎和肺结节与肺部疾病分类最多99.83%的准确率。

此外,rt - pcr依赖基因引物的应用程序可能会阻碍真正检测阳性病例如果COVID-19基因组变异。因此,限制rt - pcr结果进行解释时需要特别谨慎。除此之外,rt - pcr需要两天才能达到的结果可能不准确。因此,这样一个休会影响开始COVID-19隔离和治疗的病人。

本研究应用的共同损失与时代和准确性与时代线图;除此之外,GradCAM被用来激活深度学习模型的可视化的热图上覆盖COVID-19 CT图像。这是完成不同的检查站在培训以确保最佳hyperparameters。深度学习模型研究中,最初使用ImageNet pretrained数据库和实现模型的pretrained权重的初始状态启动培训,专门为COVID-19图像集。

2。卷积神经网络和深度学习相关的工作

医学结合各种计算方法的快速发展导致了众多的发展。计算机科学的一个分支是人工智能(AI)。医学成像主要集中在放射学、心脏病学和病理学。放射学的例子包括自动化微钙化物质和大众在乳房x光检查肺结节在胸部x光检查和CT扫描(14]。计算机辅助诊断(CAD)成为一个备份专家和医生的诊断。无数CAD应用程序并提供假设基于器官内的算法来识别异常如乳房、肺、心脏、胃肠道、神经,全身成像。然而,如果算法在CAD系统缺乏准确性,就会产生假阳性和误诊或识别错病人有异常,否则最终结束。人工智能(AI)和卷积神经网络(CNN)的发展创造了识别图像的能力和检测对象的形象。人体图像创建医疗程序和诊断在医学成像。

CAD系统是耗时和劳动密集型的发展。因此人类是利用人工智能(AI)工具来提高CAD系统功效。CAD算法分为两个部分,即。,initial lesions identification and false-positive reduction. The initial lesion identification consists of preprocessing, segmentation of body regions, candidate generation, and feature extraction. In contrast, the false-positive reduction consists of the radiologist’s visual presentation of CAD findings. The interpretation of CAD systems has been challenging. Once the medical data and reference standard have been obtained, the data must be annotated [14]。异常,必须由专业的精确位置。图片是最好的注释由几个专家,以便评估的概率是识别损伤的位置是准确的。因此,通常的最佳证据来自大型数据集,但他们通常无法实现的,除非资金雄厚的研究。

介绍了深度学习提高神经网络类型有更多的层,允许高水平的抽象。深度学习成功地识别物体在真实的世界图像和学习训练数据的特征。因此,一些研究人员发现CAD系统,需要手动选择hand-chosen参数和手工制作的特性和注释是昂贵,费时,脆弱,不可靠应用于新数据时(14]。深度学习可以避免这样的人工手工调整程序。

胸部x光检查(CXR)和计算机断层扫描(CT)图像诊断COVID-19已被证明是有价值的资源。Ioannis d . Apostolopoulos和Tzani Bessiana [15)实现特征提取,通过提取特征,包括他们学习转移到新网络,像VGG19执行分类任务,MobilenetV2,《盗梦空间》,Xception, ResNet v2。他们的研究显示VGG19实现二进制分类精度最高的98.75%和93.48%的多级分类。Ozturk t . et al。16),DarkNet架构的基础上,建立了DarkCovidNet,产生了二元分类的分类精度为98.8%和87.02%多类分类。Ohata et al。17)利用两个数据集特征提取和transfer-learning通过选择不同的CNN架构VGG一样,《盗梦空间》,ResNet, NASNet, Xception, MobileNet, DenseNet ImageNet数据集产生良好的结果。然后,他们从训练有素的CNN架构选择不同的配置,这些配置的完全连接层,和维护卷积和汇聚层。这是必要的,将特征提取器的CNN架构使用subdatasets CXR图像作为输入。最终的分类等应用机器学习算法支持向量机(SVM),再邻居(资讯),贝叶斯,随机森林(RF),多层感知器(MLP)。作者强调了不同类型的分类:基于实例的资讯,中长期规划射频是决策树方法,基于神经网络和其他人。MobileNet-SVM架构产生的最高精度98.5%第一数据集和DenseNet201-MLP实现最高精度95.6%的第二集。

这项研究的目的是开发一个基于深度学习分类模型自动化的二元分类COVID-19和Non-COVID-19肺部CT图像。第一阶段是图像分类使用COVID-19和DL算法的可行性研究。第二阶段是开发分类模型通过预处理数据,确保数据的标准化。数据增加是增加数据集的数量,和转移学习策略是植入的训练数据集。第三阶段是评估训练模型的性能。

方法是基于监督深入学习算法进行二进制分类COVID-19 vs non-COVID-19的CT图像。方法分为三个阶段,即。,(i) research methods, (ii) data collection and acquisition, and (iii) data analysis.

2.1。工具和材料

在这项研究中,一个9日创英特尔®核心™i5 - 9300 h (4 c / 8 t 2.4/4.1 GHz 8 MB) 10与Windows平台的应用进行研究。这项研究的算法使用Python代码与微软视觉工作室PyTorch框架。此外,谷歌Colab虚拟机被植入形象培训、验证和测试。表1描述了谷歌Colab GPU的总结。(18]。

2.2。方法和模型分类

提出研究二进制分类方法适用于区分COVID-19 non-COVID-19。原始数据集分为8:1:1比训练、验证和测试。随机输入图像转换,扩展到不同的大小、旋转和翻转横向和纵向数据增大。增强图像进行了转移学习使用分类模型。最后,图像局部使用GradCam或热图。

2.3。数据收集

从medRxiv COVID-19 CT图像采集,bioRxiv从2020年1月19日到2020年3月25日出版。GitHub的数据可用,一个开源库主机源代码的软件开发项目在不同的编程语言。每个CT图像与文字有关区分COVID-19 CT和non-COVID-19 CT,如表所示2。(19]。COVID-19 CT图像的总数是746,其中349是COVID-19图片,和397年non-COVID-19图像。图像提取使用PyMuPDF从研究论文19]。

2.4。数据预处理和增加

从不同的研究数据收集:图像的维度、对比和强度需要一致。有些图片不适合预处理的肺密度出现完全黑色。然而,这项研究旨在产生一个健壮的模型噪声的文物和克服输入变化。获得的图像有不同的尺寸,大小为224×224像素。在图像大小,以避免损害的细节图像,图像的比例方面依然存在。首先,输入图像的大小调整到预设的大小。然后一个空白广场附带224像素是创建一个新的形象。缩放的图像在一个正方形使用Python的枕头(公益诉讼)图像处理方案。最后,图像归一化利用最小最大标准化技术与平均值和标准偏差。归一化法消除了偏见的特性和范围内的数据集。

研究由一个转移与深度学习CNN模型学习策略,这需要大量的数据,以防止过度拟合在一个复杂的网络。数据增加可以增加使用旋转训练样本的数量,水平翻转,垂直翻转,翻译、神经过敏、颜色随机角度来看,随机仿射,自动增加的x和y设在(20.]。抖动任意改变亮度,颜色饱和度、色调,对比,和其他图像的属性。随机角度变换函数允许随机扭曲图像的角度来看,在不同的角度扩展。旋转的旋转变换函数图像在30°的角度-70°。这些转换保持图像的质量,不会阻碍放射科医生解释的能力。表3描述数据集数据peprocessing和增强后的数量(19]。

2.5。培训

经过预处理和图像的增强、转让学习技术应用。CNN网络上面有ImageNet数据集上训练。pretrained模型是特征提取器,以避免从头开始学习。网络初始化,新最后卷积层(FCL)调整。FCL生成特定于任务的修改模型。PyTorch框架如ResNets、DenseNets GoogLeNet, ResNeXt选择根据错误率ILSVRC和模型的体系结构。确定性算法目前支持所有PyTorch模型除了AlexNet和VGGNet因为他们老在CNN模型架构。因此,AlexNet和VGGNet并不包括在这项研究。

GoogleNet称为Inception-v1, CNN架构网络,赢得了ILSVRC′14竞争,其次是VGGNet作为第一个亚军。它看起来有22层,到计算效率使用初始模块和堆叠模块上的一个另一个。它没有完全连接层(FC),从而减少了参数的数量。GoogleNet参数的数量是500万,这是比AlexNet较小的12倍和27.6倍比VGGNet较小。GoogleNet前5错误率为6.7%。

初始模块设计了一个本地网络拓扑,它创建了一个网络和堆叠本地拓扑上的彼此。GoogleNet应用并行滤波器操作之前的输入层,由各种各样的接受域大小的卷积,例如,1 x 1 CONV层,3×3 CONV层,5×5 CONV层,3×3池操作如图1。这些不同的过滤层提供不同的输出,所有的过滤器输出深度方面连接在一起。最后,它创建了一个张量输出仍在继续下一层。这个过程的问题是计算复杂性。一个天真的《盗梦空间》模块能保持空间维度,但增加网络内的深度。整个CONV操作是8.54亿。的复杂性导致了操作成本计算。池层是一个额外的问题对于每一个模块。池层保存功能深度;因此,串联后的总深度增加在每一层。 GoogleNet addressed these problems by implementing “bottleneck” layers that reduce feature depth by using a 1 × 1 CONV layer. It projected the feature maps to a lower dimension, preserving the spatial dimensions and reducing the depth. The “bottleneck” layers alleviated the expensive computing and reduced operations to 358 million compared to the 854 million for the naïve version. Figure1描述了GoogleNet[的特征图9]。

剩余网络,也被称为ResNet,是一种更深刻的CNN建筑152层模型ILSVRC′15前5错误率为3.57%。ResNet是架构在ILSVRC′15和可可比赛。然而,更深层次的网络并不一定意味着更好的CNN架构。这个问题不是过度拟合,而是一个优化问题。更深层次的模型难以优化。解决方案从浅复制和学习层次模型和设置额外的层识别和地图。作者的假设ResNet应用网络层适合剩余映射而不是直接努力学习和适应所需的底层映射。完整ResNet架构已经堆积残块,每个剩余块有两个3×3 CONV层。然后,过滤器定期的数量增加一倍,减少一半的空间。卷积层添加了最初,充分卷积(FC)网络不包括在内。 The global average pooling layer will average everything spatially and be input into the last 1000 way classifier. ResNet34, ResNet50, ResNet101, and ResNet152 are the numeric values that indicate the total depth of the architecture neural network. ResNet above 50 layers used the “bottleneck” layer to improve efficiency, similar to GoogleNet. ResNet used batch normalization after every CONV layer, implemented Xavier/2 initialization, SGD and momentum are 0.9, the learning rate is 0.1 divided by 10 when the validation error plateaus, minibatch size of 256 without dropout. Figure2描述的基石ResNet改编自(他et al ., 2016)8]。

相同的创造者ResNet ResNeXt创建,赢得了第一个亚军的ILSVRC′16分类任务。ResNeXt是下一个维度ResNet之上,也被称为“基数”维度。它增加残块的宽度通过多个并行路径类似于GoogleNet /初始模块通过实现分裂三个简单的步骤,改变和聚合。神经元内的神经元控制复杂特性的数字。ResNeXt取得前5名的错误率为3.03%,显示其前身相比上涨0.54%。图3显示了谢一块ResNeXt改编et al。10]。

DenseNet也被称为人口卷积网络连接。这意味着拥有密集的街区,每一层都是连接到其他层前馈方式,减轻梯度消失,加强传播特性,并鼓励重用的特性。密集的街区有多个连接,每个特性学习输入映射到多个层,多次使用。图4是五层特性DenseNet地图,图吗5显示了3五层致密块组合来创建一个完整的DenseNet [11]。

2.6。确定的实现

深度学习的确定性算法是用于确保结果是可复制的。该算法的主要目的是实现可复制性。确定实现运行在固定的实验条件下,确保输出是相同的任何输入(21]。它是研究最多的和实用的算法可以有效的机器上运行。研究实现确定性实施ResNets GoogleNet, DenseNet, ResNeXt。非确定性的来源通常是GPU。在GPU执行许多操作在默认情况下都是不确定的(21]。深的学习环境的转变可以是随机的。深度学习模型采用随机政策培训,在培训之前,神经网络权重是任意决定。

2.7。Hyperparameters

一旦神经网络被定义,hyperparameters被训练来实现精度。学习速率是设定在0.01需要长时间的训练。势头被设定为0.9,以防止振动。允许网络的参数调整和确定下一步从之前的培训,也在训练速度控制。批量大小是次级样本安装网络的数量在每一个时代。时代的数量是300年以来的数据集的数量很小。培训将会停止如果验证损失值描述在十时代没有任何进展。hyperparameters的设置至关重要。因此,一些试验是确保完成最合适数量的时代。最初,这些模型都将运行在100时代,但是之间的差距训练和验证underfitting损失是描述模型,模型仍有能力学习。 Hence, 300 epochs were executed when the training and validation losses were similar.

SGD优化器减少了损失函数而更新计算梯度参数通过训练网络。反向传播计算梯度在训练和学习可用梯度优化器(19]。重量衰变指定为0.1,腐烂的学习速率因子0.1每九纪元。叉损失增加了预测偏离了实际标签来减少损失的概率提高培训。

2.8。绩效评估

在分类过程中,算法预测评估来确定分类模型的效率。这是基本确定训练模型和分类器可以执行任意的测试数据。惯例是应用预测准确性的评价基准。然而,准确性是不足以确定分类模型的可靠性。

创建的混淆矩阵表来描述分类模型的性能,也被称为分类器(22]。表二元分类器可以分为四类,即。,True Positives, False Positives, True Negatives, and False Negatives, arranged in a 2 × 2 table. True Positives show that the model was predicted and matched with the actual label as “Non-COVID-19”. True Negatives are predicted and matched with the actual label as “COVID-19 positive”. With the confusion matrix table, the following evaluation indicators can be obtained: accuracy, misclassification rate/error rate, true-positive rate/sensitivity/recall, false-positive rate, true-negative rate/specificity, precision, prevalence, and F Score. Since accuracy alone could not determine the classifier’s performance, the evaluation metrics were computed in detail.

2.9。本地化的异常

Gradient-weighted类激活映射,也称为Grad-CAM,是决策的“视觉解释”从一个大CNN-based模型的类。这种技术实现目标概念的图像中梯度和突出区域预测来创建一个粗定位地图(23]。因此,这种技术应用于突出分类器的识别和分析区域如果分类模型是可行的。

3所示。结果和讨论

3.1。培训和验证

训练数据集各种pretrained架构:ResNets, GoogleNet ResNeXt, DenseNet。ResNet进行了三次不同深度层次如ResNet50 ResNet 101, ResNet 152。其余GoogleNet、ResNeXt DenseNet进行一次。本节中记录所有的结果从各个CNN架构。

每个时代都有3588张图片批处理大小为64。它包括训练循环和验证循环。每次培训后,评估验证循环,循环重复,直到最大的时代。一旦训练和验证完成后,模型检测敏感性,特异性,精密(PPV)、阴性预测值(NPV),精度,精度,F1的分数。

的培训和验证的损失转移学习模型如下所示:

培训和验证的准确性的转移学习模型描述如下:

培训的过程中,验证和测试提供的神经网络预测任意数据集分类模型正确地为未来的应用程序。我们的目标是实现低培训和确认损失。如果培训损失低,验证损失高,过度拟合。如果训练和验证损失高,underfitting。可能有两种可能,如果培训损失高于验证损失。第一个是验证数据集被泄露到训练数据集。模型需要主旨是过度拟合的情况下,还是应该选择一个更直接的模型训练和验证;underfitting,需要一个更健壮的模型训练和验证。

一个例子是,一个特定的x和y在验证数据集也发现在训练数据集。另一个例子是某种形式的验证数据集的数据被泄露到训练数据集,如规范化输入组成的R, G, B,使用训练数据集的标准差和均值。第二个例子是,训练数据集比验证数据集更复杂。当数据增强应用,图像扭曲,旋转,缩放,和修改创建算法学习障碍。第三个例子是一些连接可能会禁用限制在训练算法的功能;简历完整功能和运行验证和测试集的连接。因此,确认损失的可能性将低于培训损失。

损失或成本模型误差的措施。目的是降低损失,提高模型的表现。训练描述了模型训练数据的损失,而验证损失模型描述了如何符合新数据。图表现学习曲线计算度量模型是评价和选择。高时会发生偏差算法学习不能接受所有的相关信息,未能掌握模型的复杂性。Underfitting时发生的算法不能模型训练和新数据,导致高误差值。当模型太复杂,并不代表简单的模式数据,方差是很高的。算法管理训练数据但不善概括新数据。

的重量和偏见通过训练神经网络确定。数据6和7每个描述的损失和精度训练和验证。分类图6训练了300时代,在任何点的培训和验证,连续十时代没有改善,算法停止。从图在图6,蓝线代表培训损失,橙色线表示确认损失。它表明,验证波动损失。这是明显的成本函数所示DenseNet, ResNet 50, ResNet 152。它表明高损失和波动,这意味着它没有减少。

可以捕获的神经网络模型训练数据很好,但缺乏数据显示overfit性能的验证。随着时间的推移,GoogleNet训练损失减少,ResNet 101和ResNeXt,实现低误差值。然而,观察验证损失减少到一个特定的转折点再次增加。表明,神经网络模型训练和验证曲线之间的差距,这意味着他们从各种分布函数像数据集。验证培训损失损失地波动,描绘,神经网络模型难以模型这些验证数据集。

3.2。训练参数和训练时间

表4和图8描述每个时代的训练参数和训练时间的所有训练神经网络。在每一个时代,图片加载到网络的总数是3588图片批处理大小为64。

一旦训练循环完成后,验证循环持续;因此,重复周期继续在每个时代,防止过度拟合。DenseNet、GoogleNet ResNet50、ResNet101 ResNet152, ResNeXt101验证和培训损失是显示在图6,验证和训练精度图7,分别。

3.3。混淆矩阵

在完成训练和验证集,混淆矩阵应用于每个训练神经网络策划类40 0作为“Non-COVID-19”图片和类1为“COVID-19。“35图像。测试图像被分成以下预测结果:TP、TN、FP, FN (24]。图8描述DenseNet201的混淆矩阵、GoogLeNet ResNet50 ResNet152, ResNeXt101 ResNet 101年。

ResNeXt 101有两个错误的分类,其次是ResNet 152与三种错误类型,ResNet 101有四个错误分类。GoogLeNet最多11个错误分类。

3.4。性能指标

培训和验证后,模型使用一个看不见的数据集进行了测试。的准确性、敏感性、特异性、PPV NPV, F1分数记录在表5。

基于表5ResNeXt101显示,95.17%的敏感性和两个错误分类的COVID-19图像,而DenseNet201取得93.809%的敏感性,和ResNet152达到90%的敏感性,有两个错误的COVID-19图像分类。ResNet 101年达到88.57%的敏感性有四个错误分类,ResNet 50上涨86.19%和5个错误类别的COVID-19图像。最后,GoogleNet灵敏度为80.95%和七个错误COVID-19图像分类。

PPV,也称为精度,表示频率的模型预测COVID-19是正确的。PPV认为表现良好的模型。假设精度值并不好,尽管非常高的模型的准确性。模型将不被视为好。PPV ResNeXt101已经达到100%,而ResNet101 ResNet152跟踪,取得了99.47%达到97.93%。GoogLeNet达到的最低精度72.03%,七Non-COVID-19的错误分类。

3.5。GradCAM可视化

GradCAM可视化是实现理解网络的区域(23]。基于性能指标,模型精度最高的ResNeXt101,准确率达到了98%。

表6显示了GradCAM可视化。感兴趣的红色区域代表最高的地区(25]。DenseNet201、GoogLeNet ResNet101, ResNeXt101检测出感兴趣的区域的图像作为COVID-19图像。DenseNet 201和GoogleNet比例最高为99.80%和99.99%检测COVID-19的正面形象。ResNeXt101 ResNet 101检测到COVID-19正面形象的98.04%和94.48%。ResNet152检测图像作为COVID-19图像的95.31%。不过,这引起了感兴趣的领域越往右边倾斜的图片,不同于其他的模型。然而,与83.16%,Non-COVID-19 ResNet50检测图像,图像似乎有三个红点的感兴趣的地区。检测的模型仍然是不足是COVID-19积极感兴趣的图像区域。

3.6。研究的局限性

研究应用小数据集训练CNN架构,共有746名。由于模型的复杂性:过度拟合或underfitting。数据集的数量进一步减少时分为三个类别训练,验证和测试神经网络。数据不足的问题通常是负责表现不佳,结果在不完整的项目。

六个不同数据扩增方法进行训练和验证数据集来弥补缺少的数量数据集来训练神经网络更健壮和多功能COVID-19和Non-COVID-19图像进行分类。然而,根据训练和验证曲线,验证神经网络模型描述丢失了噪音,造成过度拟合。过度拟合的验证表明,损失更多的训练例子需要改善模型性能上看不见的数据。批处理标准化技术被利用,但它只产生轻微regularisation效果。因此,波动的峰值发生在图6。辍学可以用来增加regularisation效果。的研究也进行了裁剪和旋转图像的数据增加操作来创建更多的数据算法来学习。该算法耕作过多的图片,结合旋转加剧了损失图像的基本线索。因此,该算法创建任意图像排除重要信息需要学习和分类COVID-19或non-COVID-19图像。交叉验证可以用于增加训练数据的数量。可以降低算法的学习速率来提高性能的图在图6。CNN的优化可以提高而不是随机梯度下降法(SGD)与动力;亚当可以改善算法。

深度学习模型需要大量的硬件和计算成本有效地训练模型。谷歌的合作是一个免费的在线GPU,不能覆盖神经网络由于局限性。

4所示。结论和未来的工作

COVID-19的流行世界各地的不利影响。尤其对医疗系统由于其传染性很强的自然。疫苗已在世界范围内,全球,许多人已经收到它。尽管人们接种疫苗,降低传输速率的COVID-19隔离可疑人员从健康的继续中断传播。然而,病毒发生变异,新变体的出现和消失。关注的变体是α,β,γ和δ变体。三角洲变体成为占主导地位的变体,疫苗不能保证其有效性向三角洲变体和其他COVID-19突变。病毒检测的核酸扩增(NAATs)和抗原测试是用于识别当前感染但不能确定哪些变异受感染的病人(26]。CT是广泛应用于急诊病人执行额外的胸CT。

之间的二元分类研究COVID-19 CT图像Non-COVID-19 CT图像适用于各种转移学习模型和综合分析来区分图像的自动机器。首先,图像被分成训练、验证和测试。图像分为训练和验证类增强增加数据集。测试类别下的图像没有增强。然后增强的二元分类数据集上实现十个不同pretrained模型。结果表明,ResNeXt101取得98%的最高精度。ResNet101, ResNet152有94.44%的准确性。DenseNet201达到91.78%。GoogLeNet训练参数的最少5601954,每个时代的培训时间是最短的,每个时代的31.31秒。ResNeXt101取代期望,表现好于其他神经网络模型。 Although the architecture achieved the best level of accuracy, it has the highest computational cost.

混淆矩阵通常描述了分类模型的性能测试数据。性能指标是计算量化和各个类的整体性能。所有分类模型在分类Non-COVID-19图像表现的更好比COVID-19图像。第二阶段是应用GradCAM揭示模型被强调。图片上的蓝色和红色是高强度地区分类模型有助于理解决定未来改进和进一步的微调。ResNeXt101、ResNet101 ResNet152, ResNet50 PPV模型具有较高和较低的NPV百分比,除了DenseNet和GoogLeNet。PPV神经网络模型具有较高和较低的NPV COVID-19图像分类比Non-COVID-19图像。

GradCAM实现神经网络和形象化揭示了感兴趣的领域。定位方法是有利于提高训练模型。

目前本研究利用标准的优化算法:梯度下降法和随机梯度下降法;其他CNN优化器如亚当,猛击,Adabound,超前,Adabelief可能被用来训练模型来提高在未来的工作结果。自适应估计时刻(亚当)可以创建防止学习利率失踪最低减少速度,整流学习消失率。另一方面,斯瓦特提出由于低亚当性能相比随机梯度下降法(SGD)。斯瓦特是一种混合优化方法,适用于一个自适应方法之后,在适当的时间切换到SGD算法产生最佳结果。Adabound亚当是一个变体设计得更健壮的一个极端的学习速率。这个优化器的想法是实现自适应优化和利用动态学习速率达到界限逐渐和平稳过渡SGD自适应方法。超前是一种优化算法,选择一个搜索方向的展望未来快速权重序列生成的另一个优化器,而Adabelief提出实现快速收敛作为一种自适应方法,良好的泛化SGD,和培训的稳定性。优化器的直觉是实现根据对当前步长梯度方向。所有这些优化器可以利用上面提到的进一步改善结果。 Currently, the data augmentation generated 6 times more images than the original for training. The data augmentation may cause the model to overemphasize the same image features. Thus, less aggressive data augmentation should be able to counter this effect. Some of the augmented images are overcropped, and a few of the cropped images are rotated, exacerbating the loss of essential features in the images. To counteract this, the key strategy is to include more comprehensive training datasets [27- - - - - -35]。

数据可用性

所有的数据引用的列表。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本研究支持的2020 APT EBC-C(预算外来自中国)项目推进ICT的使用实现可持续发展目标和马来亚大学if015 - 2021和ACU,英国在if063 - 2021。