多尺度的高层特征融合的组织病理学图像分类

文摘

组织病理学图像分类是疾病诊断最重要的步骤之一。我们提出了一种多级组织病理学图像分类方法基于深卷积神经网络被称为编码网络。它可以更好地表示组织病理学图像比只使用网络编码。培训的主要过程是深卷积神经网络提取高层特征,融合两个卷积层的高级功能多尺度高级特性。为了获得更好的性能和效率高,我们将采用稀疏autoencoder (SAE)和主分量分析(PCA),以减少维数的多尺度高级功能。我们评估该方法在一个真正的组织病理学图像数据集。我们的研究结果表明,该方法是有效的,优于编码网络。

1。介绍

医学图像分类是疾病诊断最重要的步骤之一。在本文中,我们将专注于组织病理学图像分类任务,这是医学图像分类的一个子集,可以为医生的疾病诊断提供有用的线索。徐et al。1)提出了一个基于深卷积神经网络分类方法(DCNNs)学习高级特性对上皮和间质组织进行分类。在他们的研究中,它是一个二进制分类任务,它直接使用DCNN完成分类任务,而非多尺度特性。Cruz-Roa et al。2]提出一个方法来自动检测乳腺癌的浸润性导管癌全部幻灯片图像卷积神经网络(cnn)。在[3],作者使用堆叠稀疏autoencoder (SSAE)检测核在乳腺癌组织病理学图像SSAE可以学习区别的高级特性。在[4],Esteva等人提出的方法使用的皮肤癌DCNN分类可以实现dermatologist-level诊断和评估结果的数据集129450临床图像。事实证明,如果足够大的数据集,训练DCNN处理分类任务通常效果很好。目前很多工作(5- - - - - -7)直接雇佣DCNN获得高级功能医学图像分类但很少将高级特性解决这一挑战的问题;也就是说,他们的模型设计不同的卷积层和max-pooling层和连接soft-max层最终分类器。然而,指出简单地使用DCNN分类并不足以获得更好的性能和效率高特别是在有限的情况下组织病理学图像数据集。基于卷积autoencoder (CAE)算法在8),通过CAE起初编码图像,然后添加预浸VGG特性semisupervised CNN。实验结果数据集的2078张图片显示该方法可以减少属性和形状分类的错误率21.54%和15.07%,分别。蜀et al。9]发达深传输网络(dtn)解决训练例子不足的挑战。他们pretrained两个ssa对于文本和图像,分别,然后继续训练ssa共享表征称为弱dtn共享。它证明了模型的有效性NUS-WIDE数据集(10]。在提出的方法11],cnn通过混合并行与分布式gpu加速策略称为“轮”,传播的大部分参数在一个服务器来减少数据传输时间。此外,它完全运行每个GPU减少空闲时间。

为了提高组织病理学图像分类的效率和准确性,我们提出一个新的方法基于DCNN称为编码网络提取两层高级特性作为多尺度的高级特性。该方法受[12]DCNN用来预测10000类。但不同的是,我们的方法融合这些高级特性融入到另一个分类器,将多尺度特性到稀疏autoencoder降低维数。

本文的其余部分组织如下。我们将描述的详细过程提取多尺度高级特性,给出一个有效的算法来减少维数的多尺度高级功能部分2。节3,我们报告我们的实验数据集及分析模型。最后,我们得出结论本文,给未来的工作部分4。

2。提出了模型的方法

2.1。编码网络和多尺度高层特征提取

我们的编码网络包含六个卷积层此前通过归一化层称为局部反应正常化参考(13]。在喂养将softmax层之前,它包含一个全接触层和辍学14)层,包括设置为0每个隐藏神经元的输出概率为0.5。归一化层和辍学层是重要的网络编码由于提高整体精度,它可能会有识别力的高级特性。当网络培训的编码,输入是一个固定大小 RGB图像。表1显示了编码的详细配置网络。卷积层使用一个过滤器的接受域 , , 和1像素步幅和0像素填充。池层执行5×5像素的窗口,2步。

在提取多尺度高级特性,编码网络意图提取高级特性。我们提取6卷积层和接触层与多尺度的高层特征相结合。第六届卷积层是固定的2048称为cfr,而接触层的尺寸是256称为ffr。它直接融合的病死率和ffr成一个特征向量可以继续喂到另一个softmax分类器分类组织病理学图像。

2.2。多尺度的高层特征的降维

我们减少了多尺度的高层特征向量的维度基于以下考虑:(1)提取多尺度高级功能相结合两层高层特征编码网络会导致相当大的计算复杂度,因为他们的高维度。(2)此外,由于两种不同的高层特征提取编码网络,它也不可避免的带来了明显的相关性。

因此,我们将使用稀疏autoencoder (SAE)来减少多尺度高级特性,因为稀疏autoencoder可能获得更多的区别的特性由于减少高层特征之间的相关性。我们雇佣 表示提取多尺度的高级特性。稀疏autoencoder是正在努力训练的三层神经网络目标函数 ,在那里是稀疏的输出autoencoder和第二层包含原始的稀疏表示多尺度高层 。它可以定义如下: 在(1),是激活函数,我们应用吗 ; 矩阵和重量吗是偏见。值得注意的是,的维度低于 。此外,稀疏autoencoder最小化代价函数如下: 在哪里病理图像的总数。然而,为了达到降低维数的目的,我们必须对稀疏约束总成本函数。这里,它给的惩罚项Kullback-Leibler(吉隆坡)差异成本函数。它可以被定义 在哪里的维数 ; 封闭的稀疏参数为零;平均激活隐藏的单位吗可以被定义为 在哪里表示稀疏autoencoder隐藏单位的激活网络时给定一个特定的输入 。和 是由 因此,原始成本函数代替 控制稀疏惩罚项的重量。新的成本函数最小化,我们可以获得多尺度的高层特征的稀疏表示。

主成分分析(PCA)是一个经典的数据降维算法在无监督特征学习领域。大量的工作(15- - - - - -17)是基于PCA解决高维度的问题,在该功能将分解的线性无关的特征向量选择原始功能的主要特征向量。它是一种有效的方法来降低数据维数。因此,为了证明SAE的有效性,它可能使用PCA算法相比,减少了多尺度高层特征维数。

3所示。实验和评价

3.1。数据集描述和实验设置

真正的叫做SDT皮肤切片图像数据集,其中包含6类皮肤病图像是用来评估该方法的总体性能。数据集是由2019张图片,每张图片的RGB图像的大小 。表2总结了6类数据集和使用T1、T2、T3、T4, T5, T6每个类别标签。为了有效地降低该方法的过度拟合的问题,我们通过提取随机手动放大SDT数据集原始图像的图像补丁。然后我们调整图像补丁 。这不仅节省了医学图像的主要信息,还减少了算法的运行时间。我们的实验可以看到如下的配置。数据集分为三部分:训练集,验证集和测试集,比7:1:2。此外,我们训练我们的模型提取的补丁的10倍交叉验证。编码的网络,花了45时代网络收敛。它训练的编码网络使用随机梯度下降法和批处理大小为100的图片,0.9势头。此外,在0.01学习速率是初始化,它将通过培训手动调整。该战略是引用的13]这是学习速率除以10当验证出错率不再提高。

3.2。精度分析

在这一节中,有必要比较编码与多尺度网络高级特性证明算法的有效性和效率。此外,多尺度特性+ SAE (MSAE)将与多尺度特性+ PCA (MPCA)来验证降维的效率。定量评价如表所示3的整体精度达到86.2%,92.6%,和95.3%,分别。从表3它可以发现MSAE拥有最好的算法精度优于其他两种算法。此外,很明显,MSAE和MPCA增益可以执行比编码网络演示了多尺度的高层的效率特性和降维的效果。所有的实验都在Matlab中实现使用MatConvNet包(18]。和所有的实验都在计算机上i5 - 6500 3.2 GHz CPU, 32 G内存,GTX1060 GPU。

在表4它报告的实验结果显示,算法精度的比较在每个类别。我们可以看到,无论哪种算法,它将获得在某些情况下比整体性能更好的精度。不平衡问题将占这一现象。更多的样本类别躺在数据集,精度可以达到越好。此外,从表4我们清楚地知道MSAE优于编码网络和MPCA在每个类别中再次证实了该方法的有效性。

图1显示了不同的混淆矩阵算法。在混淆矩阵,薄荷绿细胞代表的数量和比例正确预测的算法;粉色阴影细胞表现出的数量和比例不正确的预测。混淆矩阵的最后一行,它给每个类别的精度,同时也获得每个类的回忆在过去的混淆矩阵的列。最后混淆矩阵的对角元素代表了整体算法的准确性。从图1,MSAE可以实现精度比MPCA在每个类和编码网络。我们建议的模型的性能可以明显提高少数类。此外,它会得出一个结论,T2与T5熟悉的结构。相对数量的样本T2 T5预计将会解释这一现象。为了更好的评估算法,我们遵循19使用接受者操作特征(ROC)不同的类作为评估标准。图2比较了ROC曲线不同的类。此外,它计算曲线下的面积(AUC)更直观的比较。表5显示不同的算法的平均AUC。很明显,我们的模型可以实现0.9912的AUC是比编码网络和MPCA 0.9617和0.9855,分别。

4所示。结论

我们提出一种多级组织病理学图像分类方法是基于多尺度特征。这种方法训练网络提取高级特性,结合一个卷积编码层特性和接触特性作为多尺度的高级特性。为了解决高维度的问题和加快算法的运行时间,我们使用SAE和主成分分析降低维数的多尺度特性。最后,我们评估数据集SDT上的方法,结果表明,MSAE优于PSAE和编码网络。在未来的工作中,我们将培训薮猫DCNNs整体学习,可以从这些DCNNs提取高级特性。具体来说,我们将设计一个深度学习框架称为多尺度高层框架,它获得的特性。与此同时,融合这些高级特性提要到分类器分类组织病理学图像。

的利益冲突

作者宣称没有利益冲突。

引用

1. j .徐x罗,g . Wang h·吉尔摩和A . Madabhushi“深卷积神经网络分段和上皮和间质地区组织病理学分类图片,”Neurocomputing卷,191年,第223 - 214页,2016年。视图:出版商的网站|谷歌学术搜索
2. a . Cruz-Roa a . Basavanhally f·冈萨雷斯et al .,“自动检测的浸润性导管癌与卷积神经网络整张图片,”学报学报医学成像、光学和光子学的国际社会卷,9041年,第904103 - 904103页,2014年2月。视图:出版商的网站|谷歌学术搜索
3. l . j .许,刘问:et al .,“堆叠稀疏autoencoder (SSAE)核检测乳腺癌组织病理学图像,”IEEE医学成像,35卷,不。1,第130 - 119页,2016。视图:出版商的网站|谷歌学术搜索
4. a . Esteva b . Kuprel r . a .诺沃亚et al .,“Dermatologist-level皮肤癌与深层神经网络分类”自然,卷542,不。7639年,第118 - 115页,2017年。视图:出版商的网站|谷歌学术搜索
5. k . Sirinukunwattana s e . a . Raza Y.-W。曾荫权,d . r . j .大镰刀刀柄中情局克里族,和n·m·Rajpoot”位置敏感的深度学习核探测和分类的例行结肠癌组织学图像,”IEEE医学成像,35卷,不。5,1196 - 1206年,2016页。视图:出版商的网站|谷歌学术搜索
6. t·h·Vu h·s·穆萨维,诉《艋舺》的g . Rao和英国a . Rao”组织病理学图像分类使用区别的面向功能字典学习,”IEEE医学成像,35卷,不。3、738 - 751年,2016页。视图:出版商的网站|谷歌学术搜索
7. g . Litjens c。桑切斯,n . Timofeeva“深度学习作为一个工具来增加组织病理学诊断的准确性和效率,”科学报告》第六卷,ID 26286条,2016年。视图:出版商的网站|谷歌学术搜索
8. 诉没吃,l .侯d·萨马拉斯t . m . Kurc和j·h·萨尔兹,“Center-focusing多任务cnn注入特性分类的神经胶质瘤核图像”学报2017年IEEE冬季会议上的应用计算机视觉(WACV 17)圣罗莎,页834 - 841年,CA,美国,2017年3月。视图:出版商的网站|谷歌学术搜索
9. x蜀,G.-J。“气、j . Tang和j . Wang Weakly-Shared深heterogeneous-domain知识转移网络传播,”学报》第23届ACM国际会议多媒体(15毫米的)2015年10月,页35-44,。视图:出版商的网站|谷歌学术搜索
10. t·s·艾。蔡,j . Tang r .香港h . Li z罗,和y郑”NUS-WIDE:一个真实的网络图像数据库从新加坡国立大学”学报ACM国际会议上图像和视频检索(CIVR ' 09)2009年7月,页368 - 375。视图:出版商的网站|谷歌学术搜索
11. 李x y Du, j . Tang z z秦,“轮:通过混合并行与分布式gpu加速cnn和替代战略,”美国2017年的ACM学报》上401年,页393 - 2017年10月美国加州山景城。视图:出版商的网站|谷歌学术搜索
12. x y太阳,小王和x唐,“深度学习的脸表示从10000年预测类”《IEEE计算机视觉与模式识别会议(CVPR 14)哥伦布,页1891 - 1898年,哦,美国,2014年6月。视图:出版商的网站|谷歌学术搜索
13. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”学报》第26届年会在神经信息处理系统(捏12)太浩湖,页1097 - 1105年,NV,美国,2012年12月。视图:谷歌学术搜索
14. g·e·辛顿,斯利瓦斯塔瓦,a . Krizhevsky Sutskever,和r . r . Salakhutdinov”改善神经网络通过防止互相适应的特征探测器,“https://arxiv.org/abs/1207.0580。视图:谷歌学术搜索
15. 美国斯图尔特,m·a·葛和e . v . Anslyn”使用主成分分析和判别分析在差动传感的例程,”化学学会评论,43卷,不。1,第84 - 70页,2014。视图:出版商的网站|谷歌学术搜索
16. Rajendra Acharya d义理,r . j . Martis et al .,“自动诊断冠状动脉疾病影响患者使用LDA, PCA、ICA和离散小波变换,“以知识为基础的系统37卷,第282 - 274页,2013年。视图:出版商的网站|谷歌学术搜索
17. Demšar, p·哈里斯,c . Brunsdon a . s . Fotheringham和s . McLoone“主成分分析空间数据:概述,“美国地理学家协会上,卷103,不。1,第128 - 106页,2013。视图:出版商的网站|谷歌学术搜索
18. a Vedaldi和k . Lenc MatConvNet:卷积神经网络matlab,”第23届ACM国际会议多媒体学报》上,页689 - 692,布里斯班,澳大利亚,2015年10月。视图:出版商的网站|谷歌学术搜索
19. 和m·A·m·布达A Maki Mazurowski,“类不平衡问题的系统研究卷积神经网络”。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 ZhiFei Lai和惠芳邓。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。