文摘

目的。COVID-19造成大量死亡人数世界各地。准确诊断为早期治疗具有十分重要的意义。方法。在这项研究中,我们提出了一个新的PSSPNN COVID-19之间的分类模型,继发性肺结核、community-captured肺炎、和健康的话题。PSSPNN需要五个改进:首先提出了n-conv随机池模块。第二,小说随机池提出了神经网络。第三,介绍了PatchShuffle作为正则化项。第四,增加使用一种改进的多路数据。第五,Grad-CAM是用来解释我们的人工智能模型。结果。10运行与测试集上的随机种子表明我们的算法实现了microaveraged F1分数的95.79%。此外,我们的方法比九最先进的方法。结论。这个提议PSSPNN将有助于帮助放射科医生诊断COVID-19案件更加迅速和准确。

1。介绍

COVID-19是一种新型冠状病毒引起的疾病。“公司”是指电晕,“六”病毒,和“D”疾病。2020年12月22日,COVID-19引起了超过7800万例确诊病例和171万人死亡(我们326.5 k,巴西188.2 k,印度146.1 k,墨西哥119.4 k, 69.8 k,意大利和英国68.3 k)。

诊断COVID-19,存在两种方法:(i)与鼻咽拭子样本实时逆转录酶聚合酶链反应测试RNA片段的存在,(2)胸部成像(CI)检查COVID-19的证据。第一种rrt - pcr方法需要等待几天得到结果,而第二种类型的CI方法可以在几分钟内获得立竿见影的效果。CI方法rrt - pcr相比有许多优点。首先,拭子可能污染(1,2]。第二,CI可以检测肺的损伤,“毛玻璃样阴影(GGO)”将观察区分COVID-19与健康受试者。第三,CI可以提供立即的结果尽快成像就完成了。第四,报告显示,胸部电脑断层(有条件现金转移支付),CI方法的一种类型,可以检测到97%的COVID-19感染(3]。

目前,有三种类型的CI方法:胸部x光片(CXR) [4)、胸部CT(有条件现金转移支付),和胸部超声(CUS) [5]。在所有三种类型的方法,有条件现金资助可以提供最好的分辨率比其他两个CI方法,允许可视化的极其微小的肺结节。有条件现金转移支付的额外的优势在于它可以提供高质量的、三维的胸部数据,放射科医生可以清楚地查看COVID-19损伤,这可能是掩盖在其他两个CI方法。

然而,手动标签由人类专家是乏味的,劳动密集型的,耗时的6]。此外,标签的表演很容易受到interexpert和intraexpert因素(如情绪、疲劳和嗜睡)。此外,标签吞吐量放射科医生不比得上人工智能(AI)模型。例如,高级放射科医生可以诊断一个扫描不到五分钟,但AI可以分析成千上万的样品在一分钟。尤其是早期病变都很小,类似于周围的正常组织,使其更具挑战性的测量,因此可以由放射科医生可能被忽视。

传统的人工智能方法已经成功地应用在许多医学领域。例如,王et al。7)选择小波包Tsallis熵作为特征描述符和采用实数编码biogeography-based优化(银行分理处)分类器。江、张(8)提出了一个6级卷积神经网络(6 l-cnn)的治疗和康复。他们的表演被取代传统的纠正改善线性单元和一个漏水的解决线性单元。富尔顿et al。9使用ResNet-50 (RN-50)对阿尔茨海默病有或没有图像进行分类。作者发现ResNet-50模型帮助识别广告的病人。郭和杜10]利用ResNet-18 (RN-18)模型识别甲状腺超声标准平面(TUSP),达到83.88%的分类精度。实验验证RN-18的有效性。上述四个算法可以被转移到的多级分类任务COVID-19诊断。

COVID-19数据集,最近的一些出版物报道可喜的成果。例如,科恩et al。11)提出了一个COVID严重程度评分(CSSNet)网络,实现了平均绝对误差(MAE)的1.14地理程度评分和肺不透明度得分0.78的美。李等人。12)开发了一种全自动模式(COVNet)检测COVID-19使用胸部CT和评价其性能。王等人。13)提出了一种三维深度卷积神经网络检测COVID-19 (DeCovNet)。Zhang et al。14)提出了一个七层为COVID-19卷积神经网络诊断(7 l-ccd)。他们的表现也得到了精度 对二进制分类任务(COVID-19对健康受试者)。Ko et al。15)提出了一种快速COVID-19分类网络(FCONet)。为了页面的限制,这些方法不是描述的细节,但是我们应当比较方法在以下部分中与最先进的方法。王等人。16)提出了一个CCSHNet通过转移学习和判别相关分析。

我们的研究的灵感是提高识别性能COVID-19感染有条件现金援助通过开发一个小说深层神经网络图像,PSSPNN,简称PatchShuffle随机池神经网络。我们的贡献包括以下五个角度:(我)“nconv随机池模块(NCSPM)”提出了包括n次重复卷积层和批处理标准化层,其次是随机池(2)一种新型“随机池神经网络(SPNN)”,提出了由VGG-16启发的结构(3)更高级的神经网络,PatchShuffle SPNN (PSSPNN),提出了地方PatchShuffle介绍作为SPNN损失函数的正则化项(iv)一种改进的多路数据增加用于帮助网络避免过度拟合(v)Grad-CAM用于显示可辩解的热图,显示与肺损伤

2。数据集

这项回溯性研究免除当地医院的机构审查委员会。使用四种类型的有条件现金转移支付:(i) COVID-19-positive患者、社区获得性肺炎(CAP)(2),(3)第二肺结核(SPT)及(iv)健康控制(HC)。三个病类(COVID-19、帽和SPT)的选择,因为他们都是传染病胸部区域。我们打算包括第五个类别(胸部肿瘤)在我们未来的研究。

对于每一个主题,片有条件现金转移支付是通过一片水平选择(SLS)方法。三个病变组(COVID-19、帽和SPT表示为 ),切片显示病变的最大数量和大小选择。HC科目( ),三维图像中的任何部分是随机选择的。slice-to-subject比率被定义为 在哪里代表的数量通过SLS方法和切片是病人的数量。

总之,我们招收了521名受试者,生产了1164片图像使用SLS方法。表1列表的人口four-category主题队列与三胞胎的值 ,在哪里的总等于2.23。

三个有经验的放射科医生(两个下属:和和一位: )被召集了牧师的所有图像。假设意味着一个有条件现金转移支付扫描,代表每个放射科医师的标签。最后一个标签有条件现金援助的扫描获得的是 飞行器表示多数投票和在哪里放射科医生所有的标签,即。,

上述两个方程意味着之间的分歧的情况下分析两个初级放射科医生 ,我们咨询一位放射科医师达成MAV-type共识。数据请求由于隐私/伦理限制。

3所示。方法

表2在这个研究给缩写和完整的含义。部分3.1显示了预处理过程。部分3.2- - - - - -3.5提供四个改进。最后,部分3.6给出了实现,测量指标,可说明的技术用于我们的方法。

3.1。预处理

最初的原始数据集包含了切片图像 。每个图像的大小 。图1介绍了管道的这个数据集预处理。

首先,颜色有条件现金转移支付的四类转化为灰度图像保持亮度通道和获取灰度数据集 : 在哪里是指灰度操作。

在第二步中,直方图拉伸(HS)是用来增加所有图片的对比。取 - - - - - -th形象 作为一个例子;它的最小和最大灰度值和计算如下: 在这里,(w,h, c)意味着该指数的宽度、高度和通道方向的形象 ,分别。 意味着宽度的最大值、身高和通道图像集 。新的直方图拉伸图像集计算如下: 在哪里代表HS操作。

在第三步,种植进行拆卸检查床底部区域和消除边缘地区的文本。裁剪数据集也产生了 在哪里代表作物操作。参数 意味着像素从四个方向裁剪的顶部,底部,左,分别和右(单位:像素)。

在第四步中,每个图像downsampled大小 ,获取大小的图像集作为 在哪里 代表将采样(DS)过程中,代表downsampled图像的原始图像 。

图2显示的示例图像四类,其中三个是病,和一个是健康的。每个图像的原始大小是 ,和最后的图像预处理 。

3.2。改善我:nconv随机池模块

首先,随机池(SP) (17]介绍了。在标准的卷积神经网络中,每个卷积后池是一个重要的组件层,这是应用于减少特征图的大小(FMs)。SP是显示给更好的性能比一般池和最大池在最近的出版物(18- - - - - -21]。最近,向卷积(SC)是常用的,它也可以缩小FMs (22,23]。然而,SC可以被认为是一个简单的池方法,它总是输出区域的定位值(24]。

假设我们有一个postconvolution调频 。可以分为调频 块,每一块的大小 。现在我们关注 这代表了 - - - - - -th行和 - - - - - -列块。

向卷积(SC)遍历输入激活地图与进步,等于物体的大小 ,这里它的输出设置

l2-norm池(L2P),平均池(美联社)和最大池(MP)生成l2-norm值,平均值,最大值在块中 ,分别。

SP提供了一个解决方案的缺点AP和MP。美联社输出平均,所以它将缩减规模最大的价值,可能坐在重要的特性。另一方面,议员储备最大值但是加剧过度拟合的问题。SP是一个三步过程。首先,它生成的概率地图(PM)中的每个条目 。 在哪里 代表在像素点的值 。

在第二步中,创建一个随机变量这需要离散概率分布(DPD) 在哪里代表的概率。

在第三步中,样本从随机变量吗 ,和相应的位置 。然后,SP的输出位置 ,也就是说,

图3介绍了四种不同的池的比较方法。左上角显示的原始调频池将在举行 内核。如果我们把右上的块(在一个橙色长方形)作为一个例子,L2P输出4.96,而美联社和议员输出4.08和9.3,分别。SP法,首先将生成点然后示例基于点的位置(见红色字体),因此,SP输出的值6。

一个新的“n-conv随机池模块”(NCSPM)提出了研究基于SP层讨论在之前的段落。NCSPM需要 - - - - - -重复conv层和一批标准化层,其次是一个SP层。图4显示了该NCSPM模块的示意图。在这项研究中, ,因为我们尝试使用 ,但是性能使用 没有改善。

3.3。改进2:随机池神经网络

第二个改进本研究提出一个随机池神经网络(SPNN),其结构的灵感来源于VGG-16 [25]。在VGG-16,网络使用小的内核,而不是大内核,总是使用 过滤器的步幅2池。最后,VGG-16有两个完全连接层(尺柜)。

这个提议SPNN VGG-16遵循相同的结构设计,但使用NCSPM模块代替卷积VGG-16块。SPNN的细节如表所示3NWL意味着加权层的数量,海关是hyperparameter大小和FMS是地图大小的特性。

相比普通的CNN, SPNN的优点是两个折叠:(i) SPNN有助于防止过度拟合;(2)SPNN parameter-free。(3)SPNN可以很容易地结合其他先进技术,如批量标准化和辍学。总的来说,我们创建这个11-layer SPNN。我们试图插入更多NCSPMs或多个尺柜,不显示性能改进但更多的计算负担。提出的结构模型是总结表3。的 NCSPM代表有关重复的过滤器的大小 。整柜的 代表权重矩阵的大小 和尺寸的偏差矩阵 。在表格的最后一列3的格式 代表了特征映射的尺寸在三维空间中:高度,宽度,和渠道。直接使用转移学习是另一个选择。

在这项研究中,我们选择创建一个自定义神经网络设计了其结构和培训整个网络使用我们自己的数据。原因是一些报告显示这个“从头开始构建自己的网络”可以实现更好的性能比转移学习(26,27]。

3.4。改进III: PatchShuffle SPNN

康等。28提出了一种新的PatchShuffle方法。在每个minibatch,图像和特征图进行转换,这样像素补丁被打乱。通过生成假图片/特征图谱与内部订购补丁,PatchShuffle创建局部变化,减少人工智能模型过度拟合的可能性。因此,PatchShuffle是一个有益的补充各种现有培训正则化方法(28]。

假设有一个矩阵的 条目。一个随机变量控制矩阵PatchShuffled与否。随机变量服从伯努利分布

也就是说, 的概率 ,和 的概率 。结果矩阵被编写为 在哪里是PatchShuffle操作。假设每个补丁的大小 ,我们可以表达矩阵作为 在哪里代表一个不重叠的补丁 - - - - - -th行和 - - - - - -列。在每个补丁PatchShuffle转换工作。

的补丁是制定 在哪里行置换矩阵和吗是列置换矩阵(29日]。在实践中,一个随机洗牌操作是用来替换行和列置换操作。每个补丁将会经历的一个可能的排列。

我们提议将PatchShuffle集成到SPNN,这个新的网络模型命名为PatchShuffle随机池神经网络(PSSPNN)。PatchShuffle操作作用于两个输入图像层(见图灰度图像5多彩的形象图6不同的价值观 )和所有的特征图卷积层(9从NCSPM-1 NCSPM-5 conv层)。

建筑的结构图PSSPNN SPNN绘制在图7地图是随机选择,输入或特性进行PatchShuffle操作。达到最好的偏见方差平衡,只有一个很小的比例( )地图将进行图像/功能操作。

为简单起见,我们考虑PatchShuffling图像作为一个例子,损失函数和训练拟议的PSSPNN写成 在哪里代表普通函数和损失PSSPNN的损失函数。原始图像和代表PatchShuffled映像。标签是象征 ,和权重是象征 。

考虑到极端的情况 ,我们有 这意味着损失函数降低普通损失函数什么时候 ,同时,损失函数等于训练PatchShuffled当所有图像 。的数学期望 ,方程(19)转向 在哪里 作为正则化项。

3.5。四:改善改进的多路数据增大

这个小four-category数据使我们的人工智能模型容易过度拟合。为了缓解过度拟合和处理样本容量较低问题,多路数据增加(MDA) (30.方法选择和进一步改善。在原始14-way MDA (30.),作者用七种不同的数据增强(DA)技术原始图像及其水平图像。他们七DA技术如下:噪声注入,水平剪切,垂直剪切,旋转,伽马校正,缩放和翻译。

图8显示了16路数据扩增方法。提出的16路的区别与传统14-way DA DA就是我们添加噪声(SAPN)花白。虽然SAPN违反直觉,因为它从来没有发生在现实的有条件现金援助的图片,我们发现它可以提高性能。同样的观察报告由Li et al。31日],作者使用盐和胡椒噪声识别的早期食道癌。表4显示了16路提出改进的数据扩充的伪代码。 在哪里 在这项研究中。我们测试的价值更大 ,但它不会带来显著的改善。因此,一个图像将生成 图像(包括原始图像),如图8。

步骤1。8几何和光度DA转换利用原始图像 ,如图8。我们使用 表示每个DA操作。注意每个DA操作将产生新图像。所以,对于一个给定的图像 ,我们将生产一个增强的数据集 ,在哪里代表连接功能。

步骤2。水平镜像生成 ,在哪里意味着水平镜像功能。

步骤3。原始图像 ,反映图像 ,上述8路达原始图像的结果 ,和8路DA水平反映图像的结果结合。在数学上,一个训练图像将生成一个数据集 它包含 新图像。

把图2(一个)例如原始图像,图9显示了8路达的结果,即 。由于页面限制,镜像和其相应的8路达结果没有显示在这里。

3.6。实现、测量和Explainability

表5为每个类别列举了nontest集和测试集。整个数据集包含四个不重叠的类别 。每个类别的数据集将分成nontest集和测试集 。

我们的实验需要两个阶段。在第一阶段,10倍交叉验证用于验证nontest设置为选择最佳hyperparameters和最佳网络结构。训练集上的16路达使用交叉验证的10倍。提出的hyperparameter PSSPNN nontest组决定 。随后在第二阶段,我们使用nontest训练我们的模型集10倍与不同初始种子和实现对测试集的测试结果 。结合后测试的运行,我们获得一个求和混淆矩阵(中医) 。表5显示了数据集分割,代表数据集的元素数量 。

理想的中医是一个对角矩阵的形式 所有非对角元素为零,这意味着没有预测错误。在现实的场景中,人工智能模型将错误和性能计算每一类。为每一个类 ,我们组类的标签积极的和所有其他的类的标签负。三个性能指标(灵敏度、精度和F1分数)每类别定义如下:

可以测量的性能在所有四个类别。microaveraged (MA) F1(象征 )由于我们的数据集使用有点不平衡: 在哪里

最后,gradient-weighted类激活映射(Grad-CAM) (32)是用来提供解释我们的模型作出决定。它利用了梯度的分类关于卷积特性决定了深模型可视化图像的区域,图像分类任务的最重要的(33]。NCSPM-5在表的输出3是用于Grad-CAM。

4所示。实验结果和讨论

实验进行了Matlab的编程平台2020 b。程序运行在Windows上10和16 gb的RAM和CPU 2.20 ghz Intel Core i7 - 8750 h。测试集的性能报告10分。

4.1。SPNN和其他池方法的比较

在第一个实验中,我们比较建议的四个标准cnn SPNN不同池方法。第一个CNN使用向卷积在五个模块来代替随机池。第二至第四比较CNN模型使用L2P,美联社,分别和MP。这四个基线方法SC-CNN L2P-CNN, AP-CNN和MP-CNN分别。10分在测试集的结果如表所示6。酒吧图显示在图中10,“ - - - - - - ”、“ - - - - - - ”、“” - - - - - -F1”的灵敏度、精度和F1得分类别 。

结果在表6和图10与我们的期望是一致的SPNN获得最好的结果在所有FM还原方法。SPNN到达所有四个类别的敏感性是98.07%,91.79%,94.92%,和95.25%,分别。精度的四类94.59%,95.19%,94.92%,和95.40%,分别。F1-scores四类是96.30%,93.45%,94.92%,和95.32%,分别。整个microaveraged F1是95.02%。

microaveraged F1,得到的次优算法MP-CNN microaveraged F1分数为93.91%。第三最好是AP-CNN, microaveraged F1分数的93.18%。两个相对最差算法SC-CNN L2P-CNN, microaveraged F1分数的92.40%和92.53%,分别。

SPNN获得最好的结果,因为SP可以防止过度拟合(17],它的主要缺点是马克斯池。另一方面,据美联社和L2P将平均最大激活值,这将损害卷积神经网络模型的性能。SC-CNN,它只使用一个季度信息输入的调频,因此可能会忽视这些最大的值(34]。总之,这个提议SPNN可以视为一个改进版本的香草CNN模型,SP是用来取代传统的议员。

4.2。PSSPNN与SPNN

在第二个实验中,我们比较两国提出的网络模型,对SPNN PSSPNN,验证PatchShuffle的有效性。10分的结果在不同组合的测试集hyperparameters如表所示7,3 d条形图如图11。最优hyperparameter我们发现的10倍交叉验证nontest集 和补丁大小是 ,与文献[连贯的28]。

此外,与最优hyperparameter PSSPNN与SPNN相比。结果如表所示8。从表中,我们可以观察到PSSPNN所有四类提供了更好的F1值和整体microaverage,显示PatchShuffle的有效性。原因是PatchShuffle添加正则化项(28)的损失函数,从而可以提高我们的SPNN模型的泛化能力。

4.3。比较先进的方法

我们比较建议PSSPNN方法9最先进的方法:银行分理处(7),6 l-cnn [8],RN-50 [9],RN-18 [10],CSSNet [11],COVNet [12],DeCovNet [13),7 l-cnn-cd [14],FCONet [15]。所有的比较都进行相同的测试组10分。比较结果如表所示9。

为便于比较,图12只有比较microaveraged F1 (MA F1)分数的算法,我们可以观察到的这个提议PSSPNN达到最佳的性能在所有的算法。这个实验是基于仿真的比较。在未来,我们将我们的算法应用于严格的临床试验和验证。

4.4。Explainability PSSPNN提出的

我们把图2图片为例;这四个图片的热图数据所示(13日)- - - - - -13 (d)手册描述,如图13 (e)- - - - - -13 (h),指出这三种疾病的病变样本。注意没有损伤健康的控制(HC)的形象。PSSPNN NCSPM-5特性映射是用于生成的热图Grad-CAM方法。

我们从图可以观察到13通过PSSPNN模型的热图和Grad-CAM能有效捕捉病变同时忽视那些nonlesion地区。传统上,艾未未被视为一个“黑盒子”,削弱其广泛的使用,例如,传统的黑盒性能AI是FDA的问题。然而,借助explainability现代人工智能技术(35),放射科医生和病人将获得信心在我们的人工智能模型,提出的热图提供了明确的和可以理解的解释如何人工智能预测COVID-19和其他健康受试者的胸部传染病一样,也是在文献[36]。现在许多新的基于ai解剖病理系统通过FDA的批准,如整个幻灯片图片(WSI) [37),因为医生知道诊断和解释的答案之间的关系。

在未来,我们提出的explainability AI模型可以用于病人监控(38)和健康大数据(39]。一些新奇的网络和信号处理技术可以帮助改善我们的人工智能模型在未来的研究中,如过滤器(40,41,模糊42,43),边缘计算(44,知识援助45,46),自动对焦47图),集成和跨域知识开发(48- - - - - -50]。

5。结论

在本文中,我们提出了一个PSSPNN,需要五个改进:(i)提出NCSPM模块,(2)使用随机池,(iii)使用PatchShuffle (iv)改进的多路数据增加,(v)通过Grad-CAM explainability。这五个改进使我们的人工智能模型提供改进的性能相比9最先进的方法。10在测试集上运行显示我们的算法实现了microaveraged F1分数的95.79%。

有三个缺点的方法,它将在未来解决:(i)当前数据集包含三个胸部传染病。在未来,我们将尝试包括胸部疾病的更多的类,比如胸癌症。(2)一些新的网络技术和模型不测试,如转移学习、广泛的网络模块设计、注意机制,神经网络的图表。这些先进的人工智能技术研究。(3)我们的模型并没有经过严格的临床验证,我们将尝试释放软件医院和从放射科医生和顾问那里获得反馈。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Shui-Hua王殷和张同样对本文亦有贡献。

确认

我们感谢清华周帮助我们修改我们的英语。本文部分由英国皇家学会国际交流成本分享奖、英国(RP202G0230);英国医学研究理事会的信心概念奖(MC_PC_17171);英国希望癌症研究基金会(RM60G0680);英国心脏基金会加速器奖、英国;江苏省重点实验室开放基金的先进制造技术(hgamtl - 1703);可信软件的广西重点实验室(kx201901)。