文摘

乳腺癌是一种致命的疾病,是全球女性死亡的主要原因。诊断的过程基于活检组织是重要的,浪费时间,容易出现人为错误,可能会有冲突的最终诊断由于interobserver可变性。计算机辅助诊断系统已经设计和实施应对这些问题。这些系统大大有助于提高诊断的效率和准确性,降低成本。此外,这些系统必须有更好的表现,以便确定诊断可以更可靠。本研究调查EfficientNet架构的应用分类的苏木精和eosin-stained乳腺癌组织学图像ICIAR2018提供的数据集。具体来说,七个EfficientNets调整和评估能力分类图像分成四类:正常、良性的原位癌,和浸润性癌。此外,两个标准染色标准化技术,莱因哈德和Macenko,观察测量污点规范化对性能的影响。这种方法的结果表明,EfficientNet-B2模型取得了98.33%的准确性和敏感性训练图像上使用Reinhard污点归一化法和96.67%的准确性和敏感性使用Macenko污点归一化法。这些满意的结果表明,将通用功能从自然图像转移到医学图像通过微调EfficientNets可以达到令人满意的结果。

1。介绍和背景

死亡的主要原因之一,世界各地的女性乳腺癌[1]。它被定义为一组疾病的细胞组织内的乳房以难以控制的方式改变和分裂,通常导致肿块或增生。这种类型的癌症通常开始于牛奶腺体或导管连接这些腺体乳头。开始阶段的疾病,出现的小肿瘤更容易有效地治疗,防止疾病的发展过程和降低患病率;这就是为什么筛查是早期发现的关键(2]。

乳腺癌的诊断的过程始于触诊,定期乳房x光检查,超声成像检查。这些过程的结果表明是否需要进一步的测试。如果怀疑是癌症病人,活检和组织执行显微分析是采购,以便提取组织的病理学家可以进行组织学检查证实诊断(2,3]。一旦完成活检,组织是在实验室分析。组织准备过程必须从福尔马林固定,开始之后,嵌入在石蜡的部分。然后切片石蜡块和固定在玻璃幻灯片。不幸的是,有趣的结构如细胞质和细胞核组织还不明显。缺乏清晰的组织需要染色的组织结构会变得更明显。通常,一个标准的和著名的染色协议,用苏木精和伊红,应用。当加入组织,苏木精可以绑定脱氧核糖核酸,从而导致组织的细胞核被染成蓝色/紫色的颜色。另一方面,伊红可以绑定本身蛋白质,和,因此,其他相关结构如基质和细胞质染成粉红色。传统上,染色后,载玻片盖玻片和转发到一个病理学家检查(4]。经常,专家收集的信息结构,大小、形状、组织互动,原子核的空间安排。此外,可变性内、密度和组织的整体结构进行了分析。特别是关于核特性的信息相关的区分noncarcinoma和癌的细胞。相比之下,有关的信息组织结构相关的区分原位和浸润性癌细胞(5]。

noncarcinoma类由正常组织和良性病变;这些组织是良性的,不需要立即就医。原位和浸润性癌,另一方面,恶性,成为不断没有治疗更致命。具体地说,原位癌指的存在非典型细胞局限于在乳房组织层的原因是什么。浸润性癌指的存在非典型细胞侵入周围的正常组织,除了腺体或导管从细胞源自哪里2]。浸润性癌是复杂的治疗,它对整个身体造成威胁3]。这一威胁意味着幸存的这种级别的癌症的几率会随着发展阶段的增加而延长。此外,没有适当的和适当的治疗,病人的原位癌组织可以发展为浸润性癌组织。因此,它是至关重要的活检组织检查正确和有效的,可以证实诊断,随后,就可以开始治疗。组织学图像属于每个类的例子在图所示1。

执行的任务实际考试的组织不是简单明了。相反,它是相当耗时的,最重要的是,容易出现人为错误。专业人士之间的平均诊断精度约为75% (6]。这些问题会导致患者严重和致命的后果不正确诊断(7]。

图像采集设备的进步,创建整个幻灯片图像(WSI)从传统玻片扫描促进了数字病理(8]。数字病理主要关注的领域将提高精度和效率病理学实践(9)通过将组织病理学分析与研究WSI公司(8]。

一个优秀的解决方案来解决人类诊断的局限性是计算机辅助诊断(CAD)系统,自动分析WSI公司开发基于图像提供一个潜在的诊断。目前这些系统有助于提高效率和降低成本的诊断和interobserver可变性(5,10]。尽管当前CAD系统在高灵敏度提供了相对较好的业绩,他们仍将是第二意见临床过程,直到性能显著提高10]。

最近,深度学习的CAD系统的开发方法产生了不错的效果。以前曾试图将乳腺癌组织学图像使用手工制作的组合特征提取方法和传统的机器学习算法需要更多的知识和耗时的开发。相反,深度学习方法自动化这个过程。这些系统允许病理学家关注困难诊断病例(11]。

因此,为了确保候选人在乳腺癌的早期诊断,提高治疗成功率,降低死亡率,早期检测势在必行。虽然在计算机辅助系统的出现和进步中受益医学领域,有很多改进的空间。

1.1。研究问题

一般来说,可用医学专家的不足(12),耗时寻求诊断做出最后决定,和interobserver变异性的问题证明需要一个系统,可以自动、准确地分类乳腺癌组织病理学图像。以前的方法这个问题相对成功的考虑可用的数据,并返回适当的分类精度,但往往需要大量的计算。因此,这项工作将探索使用EfficientNet家庭内的七个轻量级架构(13]。自从EfficientNet模型设计优化可用资源,同时保持较高的精度,一个执行层面的CAD系统当前最先进的深度学习方法,虽然消耗更少的空间和培训时间,是可取的。学习技术转移已成为一个受欢迎的除了深度学习解决方案分类任务。特别是,许多先进的方法利用微调来提高性能(14]。因此,本研究探讨了应用七pretrained EfficientNets乳腺癌组织学分类的图像。此外,添加污点规范化预处理步骤将被评估。因此,本研究将回答的主要问题是,“可以调整EfficientNets达到类似的结果当前最先进方法的应用分类乳腺癌组织学图像吗?”

1.2。研究的贡献

在本研究中,应用程序的七个版本的EfficientNets转移学习乳腺癌组织学图像分类研究。建议的体系结构能够有效地提取和学习全球特征图像,如组织和细胞核组织。的七个模型测试,EfficientNet-B2架构产生更好的结果的准确性98.33%,敏感性为98.44%。

这个调查的关键是简单和直接的方法使用EfficientNets乳腺癌组织学图像的分类之前减少了训练时间,同时保持相似的精度提出了计算昂贵的方法。

1.3。论文结构

本文的其余部分结构如下:部分2文献综述,详细介绍了以前的成功方法。部分3方法和技术,提供了洞察框架在这个研究。部分4,结果,提供了在研究中获得的结果的细节。最后,部分5详细说明了这个工作的见解和结论。

2。文献综述

目前,计算机辅助诊断(CAD)系统占据的位置帮助医生在诊断的过程中,通过缓解他们的工作量,减少分歧,源于病理学家的主观解释。然而,这些系统的性能必须提高才能被认为是更可靠的第二意见系统[10]。

2.1。传统方法

在传统的方法中,专家领域知识是必需的,以便正确的特性可能是手工制作;这是一个耗时的努力。然而,这种方法会产生可接受的结果所使用的数据集。例如,Kowal [15)使用多个聚类算法实现核显微图像分割。分割成为可能提取微观结构和拓扑特性,这样可以训练分类器和图像可以分为良性或恶性。patient-wise分类的准确性在96 - 100%的范围。值得注意的是,该方法执行不佳时图像包含重叠核或少量的核。在这种情况下,方法无法识别核或聚类算法可以返回不可靠的结果。因此,为了实现一个可接受的检测精度,需要大量的样本图片。因此,很明显,准确的细胞核分割并不是一个简单的任务;这也可以归因于变化组织外观或集群的存在或严格成群核(5]。

另一种方法是利用信息在组织组织工作由Belsare et al。16],它提供了一个框架来分类图像为恶性和非恶性的。首先,使用spatio-color-texture图形分割完成。之后,采用统计特性分析,并与线性判别分类实现分类器。这个分类器的选择大大影响这种方法的结果,结果优于k-nearest-neighbor和状态向量机分类器的使用,尤其是对良性的组织的检测。100%和80%的精度达到了良性的和恶性的图像,分别。

2.2。深度学习的方法

计算能力的可用性的增加导致出现的先进架构称为卷积神经网络(cnn)。与传统的方法,不需要专家领域知识定义算法分割,特征提取,分类,而是需要专业知识来注释的数据集CNN更好的结果。相反,这些网络可以自动确定和提取区别的特征图像,图像的分类。一般来说,CNN将使用一个训练集的图像学特性是独一无二的每个类,这样当检测到类似的功能是在一个看不见的形象,网络将能够将图像分配给一个类与信心。

2.2.1。卷积神经网络方法

卷积神经网络(cnn)的成功与通用计算机视觉任务的动机研究人员使用这些模型的组织病理学分类图像。分类的苏木精和eosin-stained乳腺癌组织学图像,同时Araujo et al。5和签证官等。17)使用Bioimaging 2015数据集(18)和图像分为四类(正常、良性原位和侵入性)和两组(癌和noncarcinoma)。前的工作(5)提出了CNN,可以从多个组织学尺度集成信息。这个过程始于污点正常化通过Macenko等提出的方法。19),以正确的颜色差异。在那之后,12 从每个图像提取重叠的补丁。选择补丁的大小可以确保不丢失相关信息提取和期间,因此,每一个补丁可适当标记。然后,数据增加用于提高图像数据集的数量。最后,patch-wise训练有素的CNN和CNN的融合和支持向量机分类器(CNN + SVM)被用来确定补丁类概率。Image-wise分类是通过一个补丁概率达到融合方法。评估显示,使用多数投票策略的融合方法能够得到最好的结果。考虑到所有四类,patch-wise分类与CNN达到66.7%的准确率,而CNN +支持向量机实现了65%的准确率。image-wise分类取得了较高的分类器的结果在77.8%的准确率。只有两类,patch-wise CNN的准确性为77.6%,CNN + SVM,收益率为76.9%精度的方法。双阶级的image-wise分类任务产生最好的结果在80.6%的美国有线电视新闻网CNN和83.3% + SVM。 The reason for the lower patch-wise classification is that images may contain sections of normal-looking tissue. Since during patch generation the extracted patches inherit the image’s label, this may confuse the CNN. The increase in image-wise classification accuracy is due to the fusion method that is applied. The authors also recorded the sensitivity rates for each of the classes. It is worth noting that overall, for image-wise classification, the approach was more sensitive to the carcinoma class than the noncarcinoma class. This outcome, although not ideal, is preferable since the architecture that was proposed focuses on correctly classifying the carcinoma (malignant) instances [5]。

该方法由签证官和阮17)提出了一个组合整体的cnn和梯度增加树分类器(GBTCs)。通过Macenko污点正常化et al。19)和数据增加的初始步骤的过程。与标准数据旋转和翻转图像的增强方法,该方法(17)包含反射、翻译、和随机裁剪的图像。归一化和增强数据被用来训练建议的体系结构。具体来说,三深cnn (Inception-ResNet-v2)培训使用三种不同的输入大小: ,和 。然后,视觉特征提取和输入GBTCs提高分类性能。绝大多数投票策略被用来GBTCs合并输出,从而导致一个更健壮的解决方案。四级分类识别的96.4%和99.5%的双阶级分类被报道。这个结果超过最先进的成果。一个有趣的注意的是,作者增加了全球平均池层的致密层(完全连接),这并没有产生负面影响的准确性。类似于Araujo et al。5这项工作的作者),记录了他们的方法的敏感性。四级任务,结果表明,该方法的分类上挣扎着原位实例,而其他三个类有难以置信的高敏感性。双阶级的任务,收益率的方法灵敏度100%癌实例和98.9% noncarcinoma实例。这些结果表明,该方法能够成功地学习本地和全球多级和二进制分类特性。然而,这种方法计算费用的垮台。

2.2.2。卷积神经网络与传输的学习方法

纳瓦兹提出的TK-AlexNet et al。(3)对乳腺癌组织学图像进行分类,分类层AlexNet架构被替换成一个卷积层,并增加max-pooling层三层完全连接之前256年,100年,分别和4个神经元。提出了网络的输入大小(3)增加到512512年。转移学习技术在这个应用程序中是调整最后三层ICIAR2018数据集后整个网络ImageNet数据集上训练。这些照片是stain-normalized Macenko等的方法。19]。一个有趣的事实是,作者比较了模型的性能与non-stain-normalized和stain-normalized图像和得出结论,使用后者导致增益性能。之后,数据增加镜像和旋转等技术应用,和重叠的大小 从图像中提取。因此,总共有38400张图片生成。评价模型的使用train-test分裂的80% - -20%。

在[image-wise精度报告3)是81.25%,patch-wise精度为75.73%。值得注意的观察是正常和良性类分类敏感性为85%;然而,原位和浸润性癌类分类的敏感性为75%。模型作为第二意见实用系统,它应该有一个高灵敏度的类癌误诊的危险。

对于这个分类任务,用Inception-ResNet-v2 Ferreria et al。20.]。基本模型的分类层取而代之的是全球平均池层,一层致密(或完全连接)有256个神经元,辍学层辍学率为0.5,和最后一个致密层的神经元。此外,网络的输入大小被改变 。重塑形象不明显影响细胞的形式结构;然而,它降低计算成本20.]。作者并没有将污渍标准化纳入实验。数据增强技术,如图像翻转(横向和纵向),10%的变焦范围,转变(横向和纵向)被用来增加数据集。这些特殊的技术小心选择,因为如果增大导致太多的失真,图像中的解剖结构可能被摧毁20.),这可能导致网络难以提取歧视特征在训练。

两种形式的转移学习被用在这个实验。起初,只有密集(完全连接)层模型的训练。这种技术被称为特征提取自网络使用pretrained特性(从ImageNet)对乳腺癌组织学图像进行分类。这一步的结果是,只有致密层的权重进行调整。这个艾滋病在过度拟合20.]。之后,一定数量的层被解冻,这样网络可以调整。早期停止与20世纪的耐心,和一个检查点回调监控最低验证损失是额外的技术实现,以避免过度拟合。数据集随机分成70%的训练,20%的验证,和10%的测试。测试集达到90%的精度。

在一项由Kassani et al。21),五个不同的架构(Inception-v3, Inception-ResNet-v2, Xception、VGG16 VGG19)追究ICIAR2018数据集的分类。两个污点规范化方法是本研究中观察到:Macenko et al。19和莱因哈德等。22]。数据增强包括垂直翻转,对比调整,旋转,和亮度修正。数据分为训练和测试的75%和25%,分别。图像的大小 像素的帮助下双立方插值。对于每个模型,从特定的块提取特征,特别是层max-pooling后层。提取的特征是通过一个全球平均池层,然后连接成一个特征向量送入一个延时(多层感知器)设置256个神经元对最终分类。这些模型的修改Xception网络训练与Reinhard stain-normalized图像表现最好的,报道准确性分数的94%。总的来说,Xception架构表现最好的两个污点规范化方法,和莱因哈德(22)技术生产的精度高于Macenko (19]。其他架构排名依次为:Inception-v3, Inception-ResNet-v2 VGG16, VGG19。有趣的是,这些架构的近似参数是2300万年,5400万年,1.38亿年和1.43亿年,分别。可以假设参数数的增加可以降低这个数据的准确性。这表明更大的架构可能会有更多的困难从训练图像中提取关键特征,即使是采取措施扩大所使用的数据集。这项研究的结果也强调的好处将污渍标准化纳入预处理以及如何选择正确的方法显著提高了精度。表1显示了一个比较总结文献中相关的深度学习技术。

3所示。方法和技术

进行这项研究的流程如图2。该方法包括两个主要阶段。在第一阶段,所有ICIAR2018数据集的图像是stain-normalized使用两种技术:莱因哈德(22]和Macenko [19]。为更好地理解污渍正常化的影响,实验nonnormalized图像也同时进行。然后具体数据随机扩增技术应用到图像。这些增强技术选择的图像不会太扭曲,为了避免失去特色的风险。第二阶段,EfficientNet模型扩展进行分类。对于这个结构,足够的正则化是必要的,所使用的数据集相对较小而深的学习模型需要什么。这限制了过度拟合的可能性,采用正则化技术抵消。图3描述了该方法。

3.1。数据集

本研究中使用的数据集称为ICIAR2018乳腺癌组织学图像数据集(14),是2015年的扩展Bioimaging乳腺癌组织学图像数据集(5]。它包含400高分辨率显微镜图像,分为四类:正常的,良性的,原位癌和浸润性癌。所有四类也同样表示。两个医务人员带注释的图像,如果专业人士不同意在特定图像的注释,这张照片被丢弃或通过免疫组织化学分析确认。数据集在RGB是可用的。tiff格式,每个图像 像素的大小,像素的规模 (这是指组织由一个像素)的面积放大的 。

3.2。预处理

预处理对组织学图像的分类是至关重要的。图像数据集(14相当大而卷积神经网络通常设计在小得多的输入。因此,要降低图像的分辨率,因此网络能够接收输入,同时保持了重要的功能。数据集的大小远小于火车什么通常需要深入学习模型;数据增加用于增加独特的数据集。这种技术有助于对避免过度拟合现象,模型学习训练数据很好,但完全是无法概括和分类不可见的图像。

3.2.1之上。染色正常化

许多因素在组织学图像颜色不一致,但他们主要是由于组织准备和组织学染色过程。其他因素可能包括条件和小幻灯片的实验室准备的差异。过程中使用的技术和固定延迟以及条件在幻灯片使用扫描数字化,如改变光源、探测器、或光学,导致差异4]。这些差异在图片的颜色可能产生负面影响在cnn的训练过程。(23]。有很多污点正常化技术提出的。在本研究中,两个技术应用,提出Reinhard et al。22)和Macenko et al。19]。

这些技术有助于提高网络的效率和准确性,减少图像中的颜色不一致。此外,没有污点正常化,网络可以学习染色模式代替提取相关特征(14]。

然而,大多数表现最佳方法“ICIAR2018大挑战”的报道文献[14正常化)没有使用任何形式的污点,我们还对图像进行了大量实验,没有规范化。

图像必须从BGR颜色空间转换到RGB颜色空间为了污渍正常化技术功能。

(1)Macenko污点正常化。这种技术(19)占在准备使用的染色协议的组织。首先,颜色转换为光密度(OD)通过简单的对数变换。

一个值, ,和作为阈值删除指定数据与OD强度更高。应用奇异值分解)的光密度元组为了确定飞机的第一步。这架飞机对应于两个最大的奇异值。光学density-transformed像素然后投射到这架飞机的角每一点关于第一个计算可以确定方向。然后,前面的步骤产生的彩色空间变换应用于原始的乳腺癌组织学图像,图像的直方图是延伸,范围涵盖了低(100 - )%的数据。最小和最大向量计算和预计回光密度空间。苏木精染色对应于前向量,向量和伊红染色对应于后者。污点是适当浓度的确定,以及由此产生的矩阵表示RGB通道和OD强度。的值和建议设置为1和0.15,分别保存相同的这些实验。

(2)标准化Reinhard污点。这种技术(22)关注映射——或under-stained图像的颜色分布well-stained形象。从RGB线性变换的使用颜色空间的平均值和标准偏差值匹配颜色通道实现。从本质上讲,意味着颜色在选定目标图像转移到源图像。该方法保留了原始图像的强度变化。反过来,这保留了它的结构,而其对比度调整的目标。在颜色空间,污渍不精确分离。的必须转换为RGB颜色空间来实现规范化的形象。

图4显示的例子污点正常化技术应用于本研究。在这个图中,()代表的目标图像用于这两种技术。从本质上说,目标是标准化的技术原始图像中的颜色的目标。原始图像的一个例子是subfigures (b)所示。(c)和(d)显示的结果上使用(a) (b)与Macenko Reinhard技术,分别。

3.2.2。数据增加

在这一步中,组合Keras库提供的方法进行测试,观察对过度拟合的影响和贡献,提高分类精度。分析过程的组织学图像旋转不变的,这意味着,无论在哪个角病理学家观点显微镜图像,他/她仍然能够检查图像。因此,应用旋转增大图像不应该产生负面影响的培训架构。旋转增加定制(如方法(5])这样一个图像旋转顺时针方向 。此外,宽度和高度变化,变焦范围,水平和垂直翻转被随机应用到新图像。这一步实现的方式允许增加动态;因此,不需要额外的存储。归一化图像随机扩增时被送入模型进行训练。图5显示一个图像归一化和莱因哈德(22)、大小和随机扩增与表中提到的方法2。图像的大小根据推荐的每个输入大小EfficientNet架构如表所示3。表3包含每个EfficientNet决议的相关信息。调整图像直接导致地方特色的丧失但保留全球特征图像。因此,实验的成功依赖于体系结构的识别能力和学习这些全球功能(23]。

3.3。转移学习

传输学习(TL)可以描述如下:“源域和学习任务 ,一个目标域和学习任务 ,转移学习旨在帮助提高学习目标预测的功能( )在使用知识和 ,在哪里 ,或 “(24]。

前和中间层的CNN检测边缘和通用的形状,而层向CNN的检测问题特定的特性。转移的概念学习是基于利用一般特征学会了在前面的层从源数据集,最后指定的层数上重新训练模型的目标数据集。TL的主要好处是节省培训时间,提高神经网络的性能,绕过限制由于缺乏数据(25]。这种技术已经有效地克服小数据集问题[26]。

工作的Shallu et al。27),应用程序转移学习乳腺癌组织学图像分类研究。pretrained网络用于本研究VGG16, VGG19, ResNet-50。为了评估这些模型用pretrained权重的影响,作者使用了网络功能发电机,从图像中提取特征,利用这些特征训练逻辑回归分类器。这些测试的结果被比较的结果full-trained网络与随机初始化权重(从头训练)。这是证明,微调显著影响精度,还记得,F1,准确性,AUC, APS的分数。VGG16模型,它是最小的模型研究(深度方面,只有16卷积层)在实验中,进行微调的最好测试,达到92.6%的精度。一个假设可以从微调结果本研究报道,大的CNN架构(深度方面)精度较低分数:VGG16获得92.6%的准确率,VGG19获得了90%的准确率,ResNet-50获得79.4%的准确率train-test分裂的90% - -10%。这表明网络容量是一个重要的要考虑的因素在选择网络来调整。结论在这项研究是调整网络更健壮的不同大小的train-test分裂比训练有素的网络。

当然,有各种挑战与应用程序转移学习医学图像分类,在报道28]。一个挑战是,医学图像分类任务没有足够的注释的数据用于训练cnn (29日]。这可以归因于的费用和复杂性的过程注释图像(14]。数据的缺乏意味着大型cnn等应用程序通常表现良好ImageNet难以避免过度拟合这些数据集。因此,充足的正则化以不同形式是必要的。Overparameterization是另一个挑战,它指的是网络中大量的参数。更可训练的网络参数,网络将需要培训的时间越长,所需数量的时代将会越大,越需要计算它。这不是理想的在这些模型的实际应用。规避这些挑战的一个可能的方法是使用轻量级架构,更小的规模和有更少的参数,从而更有效地使用的计算能力28]。EfficientNet [13],SqueezeNet [30.],MobileNet-v2 [31日)最近提议的一些轻量级的架构。

多种形式的学习提出了转移。这包括重初始化、特征提取和微调。对于这个应用程序,经验观察显示相结合的特征提取和微调并没有提高准确性。相反,特征提取阶段不能有效转移特性从源数据集对乳腺癌组织学图像进行分类。这一结果可以归因于这样一个事实,自然图像的源数据集包括组织学图像毫无相似之处。因此,高级功能中发现pretrained模型的上层不会导致这个特定的分类任务。这些实验导致极端的过度拟合虽然采取了各种预防措施。因此,我们可以得出结论,微调数据集的结构和利用源数据集的低级功能产生更可接受的结果。

微调被描述为冻结一定数量的层模型中,这样的通用特性提取初层充分利用。在这项研究中,这些通用的特性来自ImageNet训练数据集(3,20.]。这个数据集包含大约1400万与2.2万年自然图像视觉范畴。图6描述了微调的过程。

选择最合适的层开始微调从需要广泛的测试。等研究[12)调查,阻止调整,这样的结果是最优的。作者(12)得出的结论是,微调顶部层网络比整个网络更有益。然而,在这项研究中,微调开始在第三块。我们注意到开始微调高块导致轻微的过度拟合。

除了ImageNet重量、noisy-student重量(32)也被用来训练模型。经验主义的观察表明,ImageNet权重更适合这个应用程序。

3.4。EfficientNet

卷积神经网络规模的过程不是很清楚,有时做任意直到找到一个令人满意的结果。这个过程可能很乏味,因为需要手动调整相关参数(13]。早些时候提出的方法扩展网络包括一个模型的深度(33由宽度(),34),图像分辨率(35]。谭和他13]研究了这些扩展方法的影响,以发展一个更系统化的方法来扩展网络体系结构。研究的主要结论可以总结成两个具体指出:首先,扩大任何单一维度的网络解决方案,深度或宽度会提高精度;然而,这对于更大的模型精度增益将会减弱。其次,达到提高精度和效率,必须平衡网络维度的深度、宽度、和解决,而不是专注于其中的一个。考虑这些研究结果,作者提出了一种新颖的扩展方法,它使用一个健壮的复合系数, ,扩大网络更加结构化的方式。方程(1)代表着作者13]显示扩展的深度、宽度和分辨率对 。 在哪里 ,和代表的深度、宽度和解决网络,分别,常数项 ,和由hyperparameter调优技术被称为网格搜索。的系数指定和管理资源,可用于扩展模型。常量定义额外的资源是如何分配给网络中的维度。“每秒浮点操作”(失败)是衡量计算机的性能36)和基本措施需要多少操作执行网络。如果网络的深度是翻了一倍,所需的失败数量也增加了一倍。如果网络的宽度或决议是翻了一倍,失败所需的数量翻了两番。因此,约束(1)表明,任何增加价值,新的失败的数量将增加 。此外,必须大于或等于一个常数项,因为没有一个尺寸应该允许被缩减。这种方法的目的(13)是规模网络深度、分辨率和宽度,这样网络的准确性和优化内存的消耗和失败是根据可用的资源。

巩固概念,证明了复合扩展方法的有效性,作者(13]然后发达mobile-sized基线网络运用神经结构的搜索(一种技术用于优化效率和准确性对失败),这被称为EfficientNet-B0。模型使用倒残块,由squeeze-and-excitation优化(37和漂亮的激活38]。漂亮的定义是

介绍了倒残块在MobileNet-v2架构(31日),利用深度方面分离卷积减少参数的数量和乘法需要执行网络。这一修改导致更快的计算没有影响性能。倒块包括三个主要组件:一个卷积层(称为膨胀层),扩展渠道的数量准备下一层的数据,一个深度方面回旋的层,和另一个卷积层(投影层),是为了从大量的项目数据渠道少量的通道。第一个和最后一个层的剩余块通过跳过连接相连。因此,在调整过程中,必须培养整个街区。违反这一限制可能损害网络学习的方式(39]。squeeze-and-excition块由一个全球平均池(差距),重塑,两个卷积层。缺口层提取全局特征,然后根据预定义的通道的数量是挤压挤压比率。

复合扩展方法被用来创建EfficientNet B7家族包括B1版本;常数 ,和是固定的;和是按比例缩小的。

模型的药效ImageNet数据集进行测试,超过了最先进的卷积神经网络,大小是更小、更快的CPU推理。结果(如图7)透露,尽管模型大小小于建立模型参数的数量和失败的数量,他们表现出色。

这些模型已经成功地用于其他组织病理学图像分类(40- - - - - -45]。然而,这项研究的时候,EfficientNet架构尚未追究ICIAR2018数据集的分类。我们限制我们的实验前六EfficientNets由于计算资源的限制。

3.5。实验设置

为了确保结果是可再生的,种子是集所有包和方法,允许这个。具体地说,一个函数用于将数据集分为训练和验证子集和被播种;这个值是保持不变在所有实验。因此,所有的培训和验证图像在所有的实验都是相同的。

数据集分为train-test集分割的85% - -15%,这个分裂产生最高的结果和与过度拟合有更少的困难。子集都是分层的图像,这意味着类也同样表示。染色图像实现了正常化使用[提供的一个包46]。

这种方法的实现是依赖于Keras包TensorFlow Python库中。具体来说,Keras ImageDataGenerator [47)是用于创建增加发电机的培训和验证数据。公开pretrained EfficientNet模型利用(48]。

每个EfficientNet扩展了全球平均池层,一层辍学率为0.5,其次是致密层与ReLU 256个神经元的激活函数,然后另一个辍学层率为0.4,最后一层致密的4与将softmax神经元激活函数。池层执行二次抽样。本质上,一层一层减少了之前的尺寸结合神经元集群为单个神经元(49]。辍学率表示输入的速度单位在辍学一层设置为0。如果单位不设置为0,他们正在更新和扩大1−的价值 确保所有的输入不会改变。致密层中的每个神经元连接到上一层中的每个神经元。因此,这些层大幅增加网络参数的数量。将softmax功能使网络的输出是输入图像的概率向量属于每个四类。亚当优化器是用于学习速率为0.0001;这个值是实际测试,发现产生最好的结果。学习速率太高时,网络学习鲁莽和不能保留信息。学习速率太低时,模型训练的进展非常缓慢,这意味着更多的时代,计算资源,培训时间是必需的。此外,10世纪的早期停止与耐心,减少对高原的耐心学习速率8时代和最小学习速率的0.000001,在每个实验和模型使用检查点。因此,模型验证最低的损失被保存而早期训练直到停止执行结束。 The batch size was fixed to 16 for the EfficientNets-B0–B4, the size was set to 5 for the B5 and B6 (due to memory constraints), and all models were set to train for 50 epochs. Categorical cross-entropy was employed as the loss function, as it is best suited for multiclass classification. This function is defined as 在哪里代表实例的数量 代表了概率预测的模型实例。

谷歌Colaboratory平台上的所有测试提供25 GB的RAM和12 GB NVIDIA Tesla K80图形处理单元。

4所示。结果与讨论

4.1。评估标准

每个模型的性能评估的计算精度,还记得,F1-score和准确性。下面的方程表示的方式确定这些指标。 TP、TN、FP和FN代表真正的阳性,真正的底片,假阳性,假阴性,分别。精度和回忆成绩记录在所有四类平均。

4.2。实验结果

表4提供的平均精度和召回(四类)和每个模型的准确性与染色规范化方法。此外,平均精度EfficientNet模型计算获得的。

准确性和灵敏度(精密)是至关重要的任务。因此,这些指标将进一步的分析和讨论。

4.3。讨论

4.3.1。分析的结果

大挑战(14)结果显示,表现最好的模型pretrained ImageNet和调整。尽管许多方法结合patch-wise分类利用地方特色,(3,5,14]国家使用的整个图像分类被发现产生更好的结果。这一观点意味着提取核和组织组织特性更有价值比nuclei-scale解密图像类的功能(14]。映像级别分类研究观察的能力架构提取全局特征的乳腺癌组织学图像,用它看不见的图像进行分类。

实验结果表明,该EfficientNet ICIAR2018数据集模型表现良好。莱因哈德技术[22]优于Macenko EfficientNet-B0, b2, b4。Macenko技术[19]EfficientNet-B3准确率最高,和nonnormalized图像表现最好的EfficientNet-B5和b6。EfficientNet-B1, Macenko和莱因哈德产生相同的结果。表5显示了平均每个染色结果准确性的归一化法。在这个表中,平均结果nonnormalized方法不如莱因哈德和Macenko技术。因此,可以得出结论,平均而言,染色规范化应用到图像的预处理步骤是有益的。

值得注意的是,EfficientNet-B2模型产生更好的结果比其他六个,这表明此体系结构是最成功的全球特征提取和学习训练集的平均精度。通过这个模型(95.83%)高于文献报道。这种方法的额外的好处是,它是简单的,需要更少的参数,这意味着更少的训练时间相比以前的方法。返回的图像归一化和莱因哈德的技术使用这个模型的最高灵敏度和准确性,为98.33%。密切关注是由于使用的图像彩色Macenko技术,与96.67%的敏感性和准确性。培训EfficientNet-B1返回相同的结果图像彩色莱因哈德和Macenko,与95.00%的敏感性和准确性。EfficientNets-B1参数的数量之间的差异和b2,和输入大小两种模型得到是相似的。对于这个特定的数据集,输入尺寸的 和 适合成功提取全局特征的组织学图像。从表4有趣的是,平均精度增益似乎会增加(EfficientNets-B0-B2),减少与较大的模型(EfficientNets-B3-B5),然后拿起略(EfficientNet-B6)。EfficientNet-B0模型的参数最少但不执行最好的。这可能是由于小模型接收输入的大小。调整到224大图像224可能会影响图像的结构,使模型更难捕捉功能。更大的模型,没有执行,这可能是由于overparameterization相对于数据集的大小。

表6提供额外的洞察力通过展示有关每个类模型的敏感性和特异性。的R每个模型的名字旁边,M, N引用数据集上的污渍规范化方法(Reinhard, Macenko, nonnormalized)。正如前面提到的,高灵敏度对这个问题是至关重要的。它是一种广泛使用的度量来确定正确的比例确定阳性(见(6))。正如预期的那样,EfficientNet-B2模型显示一致的高灵敏度在所有四类;然而,这对不太敏感原位类癌。EfficientNet-B4和b5返回最低灵敏度四类特别是noncarcinoma类。癌的敏感性对类必须最大化,作为这个组织的一个不正确的预测可能导致误诊和严重后果。Aresta et al。14]国家良性类会影响网络的性能与正常组织由于结构相似。这个类包含了比其他人更多的形态变化,这会增加困难在学习区别的特征。这句话是一致的结果报道在这项研究中,良性类通常返回最低灵敏度相对于其他类。

4.3.2。分析的准确性和损失曲线

曲线图在图8显示的准确性和损失曲线为三个模型:EfficientNet-B2, b4, b6训练Reinhard-normalized图像。曲线代表培训的进度和验证模型的训练过程中精度和损失。这些指标记录每时代。

在图(a)和(b),两曲线非常接近对方。明显的噪音曲线是由增加的数据,没有单一的图像输入两次卷积神经网络。在图(c)和(d),很明显,培训顺利进行;然而,验证准确性和不损失。这表明B4架构学习特色充分但不能概括在同一水平上。因此,验证损失曲线非常嘈杂的和不符合得很好。最后,在图(e)和(f),架构学习特点显然有困难。训练曲线(e)并不以同样的速度增长(a)和(c)。同样,在(f),验证损失不下降低于0.2,B2和B4模型(b)和(d),分别。验证损失曲线的一个可能的原因是以下培训损失曲线(f)的架构发现验证将整个数据集的代表性和容易预测比训练集(52]。

图9混淆矩阵对应的图形显示在图8。从这些矩阵,可以看出,较大的模型不能预测noncarcinoma类。这表明更大的模型没有学好的功能正常和良性的类。

4.3.3。与以前的方法相比

这项研究的结果必须与类似的方法使用EfficientNets理解的影响而不是其他体系结构。表7总结了pretrained架构中使用之前的方法和精度获得了四级,image-wise分类。值得注意的是,在这个表中列出的架构,EfficientNet-B2有最低数量的参数(约800万),比其他方法计算更便宜,因为它是一个轻量级模型。ResNet-50和Inception-v3网络也表现良好在这个数据集,和架构都有大约2300万参数。另一方面,VGG16和VGG19架构有超过1亿个参数和产生低劣的结果。这表明小架构这个数据集产生更高的精度。结果证明转让与EfficientNet-B2学习取得了卓越成果相比其他架构。Reinhard污点标准化技术和Macenko污点正常化EfficientNet-B2技术取得了令人满意的结果。

4.3.4。这种方法的挑战

在这些实验面临的主要挑战是打击过度拟合。由于数据集的大小,在大架构保证过度拟合。合并数据增强技术增加独特的样本的数量,CNN将是不够的,所以必须探索其他形式的正规化。这些形式包括辍学层、早期停止,模型检查点。适当的辍学率是通过网格搜索,找到最优批量大小和数量的致密层。替代损失和激活函数研究了但是贡献更多的过度拟合和不稳定的学习。ReLU被选为这个网络的激活函数是计算效率,很简单,和已经工作经验证明(53]。

4.3.5。研究的局限性

本研究的主要目的是观察的能力EfficientNet架构分类ICIAR2018的图像数据集分成四类:正常的,良性的,浸润性癌,原位癌。然而,图像分类到组癌和noncarcinoma是有价值的和有用的追求和应该返回提高精度5,17]。这种二元分类需要在图像局部特征的有效提取。在这项研究中提出的建筑增加表现良好在提取全局特征的多类分类但不执行同样的二进制分类。一个合理的解释是,调整造成的信息丢失图像转换到网络难以定位区别的地方特性。

5。结论

EfficientNet家族是一组取得卓越成果的最先进的卷积神经网络建立图像数据集通过仔细平衡网络中关键尺寸,精度和效率最大化。医学图像分析领域的公开数据的缺乏,导致研究人员不得不利用小,通常,不平衡的数据集。转移学习技术在这个领域提供支持通过支持泛型功能的重用大源数据集对小目标数据集。

在本研究中,应用程序的七个版本的EfficientNets转移学习乳腺癌组织学图像分类研究。转让的形式学习采用微调。实验结果证实,该体系结构能够有效地提取和学习全球特征图像,如组织和核组织。这些特性被用来分类图像分成四类:正常的,良性的,浸润性癌,原位癌。在七个模型测试,EfficientNet-B2架构拥有大约800万个参数产生优越的结果与98.33%的准确性和灵敏度为98.44%。成果表明,特征图谱的数量和参数的数量(800万)对EfficientNet-B2研究问题的优化问题。此外,两种不同的影响染色观察标准化技术,和结果比较nonnormalized图像的使用。从实验的结果,没有特定的染色正常化证明是优于其他。相反,较小的模型与莱因哈德技术表现的更好,和更大的模型表现得更好没有污点正常化。

未来工作,考虑到本研究的结果,这将是有趣的,观察的影响的合奏EfficientNets对于这个应用程序。此外,这些轻量级架构表现良好的可能性等组织学图像数据集PatchCamelyon将值得探索54]。多级传输学习以来被证明是有利的(55),对这种技术乳腺癌组织学图像可能产生相似的精度提高。因此,这也是一个值得追求的道路。最后,我们希望探索该模型是否适用于增量学习。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。