3 d CNN对早期发现肺癌的视觉洞察力使用Gradient-Weighted类激活

文摘

三维卷积神经网络能够利用完整的非线性三维上下文信息的肺结节检测DICOM医学数字成像和通信图像,和梯度类激活已经证明是有用的裁剪细粒度特性的分类任务和本地化的解释和视觉的解释内部工作。Gradient-weighted类活动中扮演着关键角色为临床医生和放射科医生的信任模型和采用。从业者不仅依赖于一个模型能提供高精度还真的想赢得放射科医生的尊重。因此,在本文中,我们探讨了肺结节的分类使用的简易3 d AlexNet轻量级架构。我们的网络工作的全部自然多视图的网络策略。我们已经进行了二元分类(良性和恶性)计算机断层扫描(CT)图像从LUNA 16数据库集团和数据库图像资源倡议。通过10倍交叉验证结果。实验结果表明,该轻量级架构实现上级分类精度97.17%的月神16集相比,现有的分类算法和低剂量CT扫描图像。

1。介绍

肺癌是最常见的1]发现危险的细胞和另外的一个最危险的癌症导致死亡的组织在2019年男性。没错,支气管癌组织实际上是主要风险的个人日常生活方式。低剂量计算机断层扫描(CT)是一种有价值的方法确定肺癌组织(2早期。选择通过这些预定义的功能是通过使用组件识别搜索方法找到一流的描写直接从指令(3)和相关信息。卷积神经网络(cnn),像一个迅速,可伸缩的、端到端发现神经网络,大大进化的目标发现,如在图像分类、医学诊断(4),和语义。

胸CT创建一个卷的碎片,可能是监管披露一些体积支气管的生理结构的照片。二维卷积驳斥了三维空间的大小,表明它实际上是无法做出完整的3 d使用条件有关(5)信息,和3 d CNN可以肯定,在和谐。我们的目标是检查经验的麻烦确定支气管曼秀雷敦捕获在一个端到端的计算机断层扫描(CT)意味着使用3 d卷积神经网络(CNN)有效地执行一个二进制的区别(6)(良性和恶性)CT图片(7从肺图像数据库财团图片(卢娜16集)。我们的主要贡献如下:(1)3 d CNN用于支气管瑕疵的自动化的区别。回顾与2 d设计、3 d cnn可以毫不费力地编码更丰富的空间信息,消除额外的独特符号。(2)多视图的地方实际上是用于我们的设计。我们的员工使用multiview-one-network策略对比,来自one-view-one-network技术用于这项研究。完成这一事实导致我们的技术比one-view-one-network方法可能实现减少错误而使用更少的需求。注意,虽然类似的方法使用的布局和2 d CNN只是利用,我们组使用3 d CNN。(3)我们所知,这是第一个研究使用3 d AlexNet《盗梦空间》的替代品以及Inception-ResNet分类肺不完美。(4)我们的模型达到一个更好的结果比其余的模型与CT的差异有关。

我们利用3 d CNN的自动区分肺癌。二维多视图区域实际上是用于我们的风格。我们的团队使用简易3 d AlexNet。

最近,深层神经网络显示优越的性能和分类问题和二维卷积神经网络(8];他们看着一片CT扫描正常。3 d CT扫描数据(9),因此它会有许多不同的片。2 d CNN扫描多个角度(10)的CT扫描数据,然后可以允许更高的精度。很明显,2 d CNN的一种方法,但3 d CNN使用完整的3 d数据的性质。而不是二维的数据,我们专门有更高的精度和低知识部分的任务,我们可以从人类的角度思考这个问题得到一个更好的主意。这允许他们做更好的诊断(11是否它是肺结节的,所以同样的适用于卷积神经网络。

本文组织如下。节2识别彻底评审,相关工作和差距。部分3处理二维卷积神经网络概述和3 d CNN和利用当前的问题。部分4提出了工作,部分5解释了实验结果和分析。

2。相关的工作

肺癌是癌症死亡的首要原因,男性和女性几乎占全球所有癌症死亡的26%。五年的存活率仅为17%。早期诊断大大增加了成功的可能性和预后。由于涉及的数据量,诊断肺结节的耗时和经常遭受interradiology异质性。肺癌筛查的常用方法是计算机断层扫描(CT)。筛查的目的是诊断感染最早可能的点。

在[12LIDC) / IDRI数据集使用的研究人员利用CNN的内在特性,和431年恶性结节和795良性结节被提取,以及支持向量机的输入顺序向前特性法构造分类器。研究人员达到85%的精度。

在[13],卢娜16使用数据集,研究人员提出了深刻的层次语义卷积神经网络交叉验证,取得了89%的准确性;使用了1386个结节:90% - 10%的产品是用于测试和培训。

在[14),卢娜16使用数据集,研究人员进行了两级卷积神经网络策略。第一阶段是完善输入CT图像,第二阶段是简化谷歌网简易分类。作者取得了89.6%的准确性,他们90%的训练,10%用于测试的888个胸癌图像。在[15),卢娜16使用数据集,研究人员使用11深CNN模型。修改CNN体系结构集成,采用转移学习。(0.94)实现了88%的准确性。

在[16与3 d],卢娜16集研究卷积神经网络技术。研究人员试图减少假阳性比率在第一阶段和使用分类标签联盟self-normalization和组内的密度变化,形状和大小。他们与888年实现了91%的准确性胸训练图像测试为90%和10%。三维卷积神经网络用于区分蔓延前的病变从入侵腺癌出现在磨砂玻璃结节直径<使用HRCT的3厘米。在[17使用),卢娜16集。作者采用了3 n卷积神经网络和加工使用肺面具提取,取得了89%的准确性。

在[18),使用UCI数据集作为输入,作者利用二值化过程对比边缘识别肺癌的生长。研究人员(19)使用了多视图卷积神经网络并进行了二元分类和三元分类。他们实现了70.7%的准确性LIDC-IDRI数据集。作者指出,利用多视图卷积神经网络,可以减少错误率。软激活映射(20.)技术用于发现低度恶性结节。对于特征选择,作者使用高级特性增强方案本地化结节形状。研究人员在21]LIDC-IDRI pretrained加权模型使用的数据集和特征选择和手工制作的纹理描述符,取得了78%的准确性。文献调查(12- - - - - -18)清楚地表明,肺结节的分类应与更好的准确性、简易和(19- - - - - -21),作者提出了一个重量级的模型由于训练过程需要大量的时间,它也会给不同的结果在不同的机器上。不解释的个人领域,无论多么强大的深度学习模型。他们是非常困难的。因此,所有模型最近有很强的精度,特别是深度学习模型。但如果域专家不相信这个模型,这并不意味着太多。因为它不会真的获得认可,我们的想法是我们可以如何使用技术,如gradient-weighted类激活映射或Grad-CAM可视化模型的决策和提高放射科医生的信任,增强应用领域采用轻量级的流程模型。

3所示。卷积神经网络

一个新的架构称为卷积神经网络(CNN) (22)由输入和输出像其他深学习方法和它将层称为卷积层和max-pooling层。大意总结如图1。

总的想法是,输入将会通过一系列的卷积和max-pooling层,就像其他研究人员(23),然后这将地图一些最后完全连接层地图输出。

3.1。卷积的层

内核将卷积(24)输入,所以它将从左边开始,去下一层,然后点积和内核之间的输入。这个输出特性图卷积神经层可以检测图像中的某些特性。图2解释2 d内核的工作在输入图像和内核的滑动。卷积的特性提取层。

3.2。Max-Pooling层

想法是卷积层可以检测边缘的小边的CT扫描。卷积层可以检测某些部分可能是良性结节的CT扫描或恶性结节,最后,最后几层将检测整个良性结节。图3建议的体系结构显示了一个3 d的内核。所以,这是主要的层,使卷积神经网络。

但另一个关键层也是max-pooling层基本上以最大的价值在一个地区,把它变成一个奇异值。马克斯池实际上是一个合并过程决定的最大组件来自属性图的面积处理由于过滤器。因此,结果max-pooling水平后肯定会是一个功能图有地图的最突出的亮点功能。max-pooling层减少了尺寸(25)的数据,这样可以更快的计算。

Max-pooling层减少尺寸允许更好的计算速度,减少过度拟合。所以,每个CNN层特性增加复杂性。第一层学习棱角,然后,我们走得更远,过渡层将学习更复杂的对象,最后,最后一层将检测对象。

3.3。3 d卷积神经网络

3 d CNN在本质上是相同的,除了您的输入将3 d数据,而不是一个单一的层。过滤器也将3 d。所以检测2 d的功能,如边缘和角落,它将检测相同的特性但以三维的方式(26),这是很重要尤其是在这个肺结节的案例中,因为所有的数据是3 d的本性。

工作的想法是这3 d数据输入。它通过一些3 d内核,然后归类为健康或有病;在这种情况下,一个模块存在于CT图像或长模块不存在。所以,除了这CNN,其他深层神经网络医学图像分析27]黑匣子给用户没有直觉如何预测。图4显示3 d CNN的体系结构。

4所示。提出的模型

优越的结果在实时环境中不是被证明是有效的;然而,由于缺乏透明度在前面的模型,有自尊挑战现实实现。通过突出区别的领域,gradient-weighted类激活映射(Grad-CAM)提供视觉描述。这项研究产生3 d CNN更好的信心和接受先进的精密和视觉角度。在调试和优化的过程中,视觉角度的帮助。第一项研究表明,在肺结节的分类,Grad-CAM技术(28)将提供视觉解释模型的决策。3 d卷积神经网络,充分利用输入数据的3 d结构检测肺结节和更高的精度。建议的流程架构如图5。

4.1。梯度类重量激活

Gradient-weighted类激活映射技术可以提供视觉解释模型决定肺结节检测通过突出区别的区域。这是一个非常强大的方法来找出如何使域模型可判断的人。我们提供的视觉洞察模型是如何使其决定。这将允许更好的信任和采用,除了验证模型和更新它在调试和优化过程。我们可以看看这些视觉洞察力和看到的模型是失败,为什么模型是失败,我们可以解决这个问题通过改变模型的体系结构。这项研究表明Grad-CAM视觉技术的国家在一个模块分类。这里的目标是研究和开发3 d CNN检测肺结节和CT扫描数据与现有更好的准确性和更高的信任模型,这是最终的援助在肺癌的早期发现改善的机会生存和预后。

让我们定义平均汇集全球产出。

Grad-CAM计算最终得分 在哪里是连接k特征映射的重量。

以梯度类分数( )w.r。t特性映射,得到

部分推导(4)关于 ,我们可以看到, = 。替换成(4),我们得到

从(3),我们得到

总结双方的6),

因此,

我们可以因此得出结论,Grad-CAM是一个严格的CAM泛化。这种泛化有助于研究者产生视觉描述三维CNN-based模型的专业开发人员,这将使该方法简化,复杂得多。因此,在计算机断层扫描图像,我们可以得到相同的结节区域。我们执行的加权组合激活转发和跟随它的地图ReLu获得以下方程为非线性。激活函数被应用到每一层组件输出特性的映射;因此,因此,它将增加非线性CNN。我们使用了修正线性单元的激活函数算法。它的工作原理如下:

5。实验结果和讨论

5.1。月神16集

月神16个数据集(29日包括888年临床胸CT扫描。CT扫描与切片厚度大于3毫米或不一致的片间距被排除在外。图像注释是由四个胸有经验的放射科医生。每个放射科医师标志着他们确认为nonnodule病变,结节< 3毫米,结节> = 3毫米。参考标准是所有结节> = 3毫米接受至少3 4放射科医生。图6显示了良性和恶性的图像。

5.2。研究设计

我们将数据分为训练和测试数据集以及验证。我们设计和实现一个模型,我们的火车模型验证模型的验证数据集。这个过程,我们遍历知道如何执行我们的模型。我们可以更改架构,我们可以把平均分担,我们可以添加更多的层改变滤波器的大小。我们想知道我们如何能使模型尽可能好然后我们评估我们的测试数据集,所以这里的想法是,测试数据集只能使用一次,因为我们不想训练测试数据集或优化模型的测试数据集。我们的想法是,我们坚持一个测试数据集使用最后一次,最后我们使用Grad-CAM可视化模型。图7显示了研究设计。

5.3。分割和预处理数据

平衡数据集1000结节和1000 nonnodule卷使用。数据被分成三组培训、验证、测试、随机分成1400卷600培训和测试。10%的训练数据(140卷)是用于验证。

5.4。架构和实现

从表中,我们将总结各种体系结构模型。表1解释了AlexNet 2 d (h·谢et al ., 2019)3),表2解释了AlexNet 3 d (IEEE信号处理社会,无日期。)16)模式和表3总结了建议的体系结构网络模型。在我们的简易算法,网络规模使用27岁:27日:27日:16,我们选择了随机体重最大值为1。我们的网络的泛化行为与各种结果是固定大小的,但网络训练的大小增加。

5.5。培训过程

图8解释了卢娜16个数据集上的训练过程。图片X训练数据集的输入模型。输出与训练的标签y、损失计算和模型更新的新参数。在迭代训练过程中,SoftMax激活函数用于计算前的估计损失。叉被用作损失函数优化。亚当优化器使用的所有模型学习速率为0.0001和默认参数β1 = 0.9和β2 = 0.999。表4解释了关键矩阵。

6。结果与讨论

曲线下面积(AUC)透露,一旦我们区分是二进制分类有效性和额外的分类器。接受者操作特征曲线解释了(ROC),一个正常的简洁的分类器制定了一系列战略实际积极与假阳性错误价格之间的妥协。批准的AUC是一个典型的效率统计ROC曲线的机会和方法分类器或特性将随机选择绝对有益的情况下任意选择以上损害环境。也就是说,AUC可以代表分类器识别例子的能力。高AUC数字接近1表明良好的可分性测度。拟议中的3 d CNN表现最好的AUC 97%。图9显示了性能矩阵。

模型性能的关键指标和视觉的见解通过生成区域海拔曲线(AEC)。cnn有很好的原子能委员会接近一个显示他们有一个好的晚餐能力和他们能够表现良好的检测任务。亚历克斯3 d CNN原子能委员会95%表现好于94%的2 d CNN,和提出的3 d CNN表现最好的AUC 97%,这表明,这些优化,通过迭代完成和验证是有效提高模型分类能力。

我们需要强调这个94%召回价值可能只有百分之三大于亚历克斯净2 d CNN,但即使一点零一增加回忆就像拯救另一个病人生活100年。这次召回值是非常重要的。特别是,通过保持相同的精度,我们能够增加这次召回不牺牲太多的精度。我们基本上是发现患有癌症的患者,发现他们通过早期检测这漫长的模块。

3 d的AlexNet CNN的准确性优于2 d CNN。优化3 d CNN表现最好的,也有更好的比2 d CNN召回精度值。这可能是最重要的一部分,它提供了视觉见解模型决策。表5和6显示该模型的性能相比其他模型。

完成CNN使用Grad-CAM理解可视化模型是如何做决定的。

在图10,左边的图片是输入图像被送入网络。我们使用Grad-CAM-generated地图右边的图像。从地图上的一个完整的CT扫描,我们可以给点什么巨大的CT扫描给放射学有了深入的了解。

应用的有效性gradient-weighted类激活映射显示它如何能提供良好的视觉解释,为什么模型预测预测,这是很关键的,因为有时候,总的主题是,如果你真的可以使模型解释的,它可以是非常有用的临床医生和放射科医生的信任和采用该模型,和所有从业人员不仅要有一个模型,该模型可以提供很高的精度,但真正想做的东西在实际领域,所以这就是为什么这个Grad-CAM分析至关重要。

7所示。结论

在这篇文章中,三个关键的深层神经网络也广泛评估。预测良性和恶性肺瑕疵分类的对比在卢娜16集。实验结果表明,该简易3 d-cnn存档最好的效率比2 d AlexNet和3 d AlexNet。摘要语义网络的层都相当小和轻,因为数据收集的约束。该方法有望提振其他数据源的准确性。这项技术可以推广到高性能的风格CADx为其他医学成像系统工作在未来。

8。未来的工作

反过来,类激活地图分析提炼成功的网络条件,不执行得很好。CNN使用max-pooling类不变量解决这一问题,但对于生物医学图像,我们需要等价类,但这里的主要问题是,很多重要数据丢失在这个过程中,以及美国有线电视新闻网是一个糟糕的表现对人类视觉系统。胶囊是最好的,并使用神经网络等价类来存储和模仿人类的视觉系统。它的重要性表明胶囊神经网络可以训练数据少得多,产生更精确的结果。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是财务支持的中小企业(sme)和初创公司(MSS),韩国,在“地区专业行业发展项目(研发、S2855401)”监督的韩国发展研究所技术(吉)。

引用

1. k .·s·戴伊,t·古普塔et al .,“空气污染对人的影响,疾病负担,和预期寿命在印度的国家:2017年全球疾病负担研究”《柳叶刀》行星健康,3卷,不。1,pp. e26-e39, 2019年。视图:出版商的网站|谷歌学术搜索
2. a . Agrawal盛,p .李et al .,“计算机辅助决策支持系统在肺癌症检测和分类阶段CT图像,”生物医学信息学杂志卷,79年,第128 - 117页,2018年。视图:出版商的网站|谷歌学术搜索
3. h·谢·d·杨:太阳,和张y, z . Chen”自动肺结节检测CT图像,采用深卷积神经网络”模式识别卷,85年,第119 - 109页,2019年。视图:出版商的网站|谷歌学术搜索
4. w·w·Labaki t . Gu s穆雷et al .,“Voxel-wise胸部电脑断层的纵向参数响应映射分析吸烟者,”放射学学术,26卷,不。2、217 - 223年,2019页。视图:出版商的网站|谷歌学术搜索
5. d . Ardila a·p·基拉美国Bharadwaj et al .,“端到端肺癌筛查与三维深度学习在低剂量胸部电脑断层,”自然医学,25卷,不。6,954 - 961年,2019页。视图:出版商的网站|谷歌学术搜索
6. m·克伦克k . Hirata a Gafita et al .,”分布比较和纹理分析18 F-FDG和18 F-FMISO宠物的头颈癌患者,”《公共科学图书馆•综合》,14卷,不。2、2019。视图:出版商的网站|谷歌学术搜索
7. 廖,m .梁x, z . Li和美国歌曲,“评估肺结节的恶性肿瘤使用3 d深层渗漏noisy-OR网络,”IEEE神经网络和学习系统,30卷,不。11日,第3495 - 3484页,2019年。视图:出版商的网站|谷歌学术搜索
8. w·左f .周、李z和l .王”多分辨率CNN和知识转移的候选人在肺结节检测、分类”IEEE访问7卷,第32521 - 32510页,2019年。视图:出版商的网站|谷歌学术搜索
9. h . Polat h . d .较多,“肺CT图像的分类使用混合3维深部卷积神经网络架构,”应用科学(瑞士),9卷,不。5,940年,页2019。视图:出版商的网站|谷歌学术搜索
10. p . Afshar a·穆罕默k . n . Plataniotis a . Oikonomou h·贝纳里,“从手工到deep-learning-based癌症radiomics:挑战和机遇,”IEEE信号处理杂志,36卷,不。4、132 - 160年,2019页。视图:出版商的网站|谷歌学术搜索
11. 刘x l .西班牙A美国甘蓝et al .,“比较深度学习表现和卫生保健专业人员从医学成像检测疾病:系统回顾和荟萃分析,“《柳叶刀》杂志上的数字医疗,1卷,不。6,pp. e271-e297, 2019年。视图:出版商的网站|谷歌学术搜索
12. 李s, p, b . et al .,“预测肺结节恶性肿瘤通过结合深卷积神经网络和手工制作的特性,“物理学在医学和生物学,卷64,不。17日,2019年。视图:出版商的网站|谷歌学术搜索
13. 答:丽塔,f·卡瓦略和a . m . Cunha”Faculdade de engenharia da大学波尔图3 d肺结节的分类在计算机断层扫描图像,”2019年。视图:谷歌学术搜索
14. j·a·杨,t·胡j . Wang律,s . Banerjee和s . h .凌,“肺结节的分类使用一种新型两级卷积神经网络结构,”学报2019年第41届国际会议的IEEE在医学和生物工程协会(EMBC),柏林,德国,2019年7月。视图:出版商的网站|谷歌学术搜索
15. x赵、齐,b . Zhang et al .,“深CNN对肺结节的分类模型:模型修改,模型集成,和转让学习,”x光科学与技术杂志》上,27卷,不。4、615 - 629年,2019页。视图:出版商的网站|谷歌学术搜索
16. m . Mansouri阿然,k . w . Shaqdan和h . h . Abujudeh”评级和分类的事故报告放射学在一个大型学术医疗中心”当前的问题诊断放射学,45卷,不。4、247 - 252年,2016页。视图:出版商的网站|谷歌学术搜索
17. s . r . s . Wang Wang Zhang et al .,“3 d卷积神经网络微分侵袭前病变从入侵腺癌出现毛玻璃结节直径使用HRCT≤3厘米,“定量成像在医学和外科手术,8卷,不。5,491 - 499年,2018页。视图:出版商的网站|谷歌学术搜索
18. 美国j . Reddy b . r . v . r . Reddy和b . e . Reddy”识别肺癌与模糊神经网络,使用机器学习机制”Traitement Du信号,36卷,不。1,第91 - 87页,2019。视图:出版商的网站|谷歌学术搜索
19. b . g .康k . Liu侯,n .张“3 d多视点卷积神经网络对肺结节的分类,“《公共科学图书馆•综合》,12卷,不。11日文章ID e0188290, 2017。视图:出版商的网站|谷歌学术搜索
20. y, y, h, j . Zhang g . Wang和m·k·卡尔拉”形状和margin-aware通过软激活肺结节的分类在低剂量CT图像映射,”医学图像分析,60卷,2019年。视图:出版商的网站|谷歌学术搜索
21. m·k·h·山、g . Wang卡尔拉,r . c . De Souza和j·张,“提高特征的可转让性pretrained深对肺结节的分类、神经网络”学报2017年国际会议上完全三维图像重建在放射学和核医学陕西,西安,中国,2017年6月。视图:出版商的网站|谷歌学术搜索
22. j·韦斯顿和C.-J。林”,扩展对人工智能学习算法,“大规模的内核的机器美国马剑桥,麻省理工学院出版社,2007年。视图:谷歌学术搜索
23. p . Satti:沙玛和b Garg”Min-max基于平均池去除脉冲噪声滤波器,”IEEE信号处理信件27卷,第1479 - 1475页,2020年。视图:出版商的网站|谷歌学术搜索
24. j .月亮、h·金和b·李,“视点不变的3 d使用卷积神经网络分类为移动机器人,”国际期刊的控制、自动化和系统,16卷,不。6,2888 - 2895年,2018页。视图:出版商的网站|谷歌学术搜索
25. y y谢戴w z,胡、刘,c·李和x Pu,“小说卷积神经网络架构SAR目标识别,”杂志上的传感器卷,2019篇文章ID 1246548、9页,2019。视图:出版商的网站|谷歌学术搜索
26. m·温克尔t·s·科恩:“肺结节检测CT扫描等变化cnn,“医学图像分析卷,55 15-26,2019页。视图:出版商的网站|谷歌学术搜索
27. r . Neelapu g . Lavanya井斜,k . Srinivasa饶“深度学习传统医学图像分类的神经网络架构为基础,“Traitement Du信号,35卷,不。2、169 - 182年,2018页。视图:出版商的网站|谷歌学术搜索
28. r·r·Selvaraju m . Cogswell Das, r . Vedantam d·帕里克说,d·巴特拉”Grad-CAM:视觉解释基于从深层网络通过梯度本地化,”学报2017年IEEE计算机视觉国际会议(ICCV)2017年10月,威尼斯,意大利,。视图:出版商的网站|谷歌学术搜索
29. LUNA-16。数据库可用https://luna16.grand-challenge.org/Data/2019年12月18日,访问。

版权

版权©2021 Eali斯蒂芬·尼尔约书亚等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。