CMMM 计算和数学方法在医学 1748 - 6718 1748 - 670 x Hindawi 10.1155 / 2017/7521846 7521846 研究文章 多尺度的高层特征融合的组织病理学图像分类 http://orcid.org/0000 - 0003 - 3998 - 7466 ZhiFei 1 慧芳 1 小琪 计算机科学与工程系 华南理工大学 广州510006 中国 scut.edu.cn 2017年 31日 12 2017年 2017年 27 09年 2017年 06 12 2017年 31日 12 2017年 2017年 版权©2017 ZhiFei Lai和惠芳邓。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

组织病理学图像分类是疾病诊断最重要的步骤之一。我们提出了一种多级组织病理学图像分类方法基于深卷积神经网络被称为编码网络。它可以更好地表示组织病理学图像比只使用网络编码。培训的主要过程是深卷积神经网络提取高层特征,融合两个卷积层的高级功能多尺度高级特性。为了获得更好的性能和效率高,我们将采用稀疏autoencoder (SAE)和主分量分析(PCA),以减少维数的多尺度高级功能。我们评估该方法在一个真正的组织病理学图像数据集。我们的研究结果表明,该方法是有效的,优于编码网络。

1。介绍

医学图像分类是疾病诊断最重要的步骤之一。在本文中,我们将专注于组织病理学图像分类任务,这是医学图像分类的一个子集,可以为医生的疾病诊断提供有用的线索。徐et al。 1)提出了一个基于深卷积神经网络分类方法(DCNNs)学习高级特性对上皮和间质组织进行分类。在他们的研究中,它是一个二进制分类任务,它直接使用DCNN完成分类任务,而非多尺度特性。Cruz-Roa et al。 2]提出一个方法来自动检测乳腺癌的浸润性导管癌全部幻灯片图像卷积神经网络(cnn)。在[ 3],作者使用堆叠稀疏autoencoder (SSAE)检测核在乳腺癌组织病理学图像SSAE可以学习区别的高级特性。在[ 4],Esteva等人提出的方法使用的皮肤癌DCNN分类可以实现dermatologist-level诊断和评估结果的数据集129450临床图像。事实证明,如果足够大的数据集,训练DCNN处理分类任务通常效果很好。目前很多工作( 5- - - - - - 7)直接雇佣DCNN获得高级功能医学图像分类但很少将高级特性解决这一挑战的问题;也就是说,他们的模型设计不同的卷积层和max-pooling层和连接soft-max层最终分类器。然而,指出简单地使用DCNN分类并不足以获得更好的性能和效率高特别是在有限的情况下组织病理学图像数据集。基于卷积autoencoder (CAE)算法在 8),通过CAE起初编码图像,然后添加预浸VGG特性semisupervised CNN。实验结果数据集的2078张图片显示该方法可以减少属性和形状分类的错误率21.54%和15.07%,分别。蜀et al。 9]发达深传输网络(dtn)解决训练例子不足的挑战。他们pretrained两个ssa对于文本和图像,分别,然后继续训练ssa共享表征称为弱dtn共享。它证明了模型的有效性NUS-WIDE数据集( 10]。在提出的方法 11],cnn通过混合并行与分布式gpu加速策略称为“轮”,传播的大部分参数在一个服务器来减少数据传输时间。此外,它完全运行每个GPU减少空闲时间。

为了提高组织病理学图像分类的效率和准确性,我们提出一个新的方法基于DCNN称为编码网络提取两层高级特性作为多尺度的高级特性。该方法受[ 12]DCNN用来预测10000类。但不同的是,我们的方法融合这些高级特性融入到另一个分类器,将多尺度特性到稀疏autoencoder降低维数。

本文的其余部分组织如下。我们将描述的详细过程提取多尺度高级特性,给出一个有效的算法来减少维数的多尺度高级功能部分 2。节 3,我们报告我们的实验数据集及分析模型。最后,我们得出结论本文,给未来的工作部分 4

2。提出了模型的方法 2.1。编码网络和多尺度高层特征提取

我们的编码网络包含六个卷积层此前通过归一化层称为局部反应正常化参考( 13]。在喂养将softmax层之前,它包含一个全接触层和辍学 14)层,包括设置为0每个隐藏神经元的输出概率为0.5。归一化层和辍学层是重要的网络编码由于提高整体精度,它可能会有识别力的高级特性。当网络培训的编码,输入是一个固定大小 140年 × 140年 × 3 RGB图像。表 1显示了编码的详细配置网络。卷积层使用一个过滤器的接受域 7 × 7 , 9 × 9 , 8 × 8 和1像素步幅和0像素填充。池层执行5×5像素的窗口,2步。

编码的配置网络。

类型 内核大小/ strid 输出的大小
卷积 7×7×3/1 134×134×32
卷积 7×7×32/1 128×128×32
马克斯池 5×5/2 62×62×32
卷积 9×9×32/1 54×54×64
马克斯池 5×5/2 25×25×64
卷积 7×7×64/1 19×19×64
卷积 7×7×64/1 13×13×128
马克斯池 6×6/2 4×4×128
卷积 4×4×128/1 1×1×256
完整连接 1×1×256/1 1×1×256
Softmax层 1×1×6

在提取多尺度高级特性,编码网络意图提取高级特性。我们提取6卷积层和接触层与多尺度的高层特征相结合。第六届卷积层是固定的2048称为cfr,而接触层的尺寸是256称为ffr。它直接融合的病死率和ffr成一个特征向量可以继续喂到另一个softmax分类器分类组织病理学图像。

2.2。多尺度的高层特征的降维

我们减少了多尺度的高层特征向量的维度基于以下考虑:

提取多尺度高级功能相结合两层高层特征编码网络会导致相当大的计算复杂度,因为他们的高维度。

此外,由于两种不同的高层特征提取编码网络,它也不可避免的带来了明显的相关性。

因此,我们将使用稀疏autoencoder (SAE)来减少多尺度高级特性,因为稀疏autoencoder可能获得更多的区别的特性由于减少高层特征之间的相关性。我们雇佣 x t = { x 1 , x 2 , x 3 , } 表示提取多尺度的高级特性。稀疏autoencoder是正在努力训练的三层神经网络目标函数 x t ^ x t ,在那里 x t ^ 是稀疏的输出autoencoder和第二层包含原始的稀疏表示多尺度高层 h ^ 。它可以定义如下: (1) h ^ = f W x t + b 在( 1), f 是激活函数,我们应用吗 c ; W 矩阵和重量吗 b 是偏见。值得注意的是,的维度 h ^ 低于 x t 。此外,稀疏autoencoder最小化代价函数 J 如下: (2) J = 1 = 1 x t ^ - - - - - - x t 2 , 在哪里 病理图像的总数。然而,为了达到降低维数的目的,我们必须对稀疏约束总成本函数。这里,它给的惩罚项Kullback-Leibler(吉隆坡)差异成本函数。它可以被定义 (3) j = 1 年代 2 K l ρ ρ j ^ , 在哪里 年代 2 的维数 h ^ ; ρ 封闭的稀疏参数为零; ρ j ^ 平均激活隐藏的单位吗 j 可以被定义为 (4) ρ j ^ = 1 = 1 一个 j 2 x , 在哪里 一个 j ( 2 ) ( x ( ) ) 表示稀疏autoencoder隐藏单位的激活网络时给定一个特定的输入 x ( ) 。和 K l ( ρ ρ j ^ ) 是由 (5) K l ρ ρ j ^ = ρ 日志 ρ ρ j ^ + 1 - - - - - - ρ 日志 1 - - - - - - ρ 1 - - - - - - ρ j ^ 因此,原始成本函数代替 (6) J 年代 p 一个 r 年代 e = J + β j = 1 年代 2 K l ρ ρ ^ β 控制稀疏惩罚项的重量。新的成本函数最小化,我们可以获得多尺度的高层特征的稀疏表示。

主成分分析(PCA)是一个经典的数据降维算法在无监督特征学习领域。大量的工作( 15- - - - - - 17)是基于PCA解决高维度的问题,在该功能将分解的线性无关的特征向量选择原始功能的主要特征向量。它是一种有效的方法来降低数据维数。因此,为了证明SAE的有效性,它可能使用PCA算法相比,减少了多尺度高层特征维数。

3所示。实验和评价 3.1。数据集描述和实验设置

真正的叫做SDT皮肤切片图像数据集,其中包含6类皮肤病图像是用来评估该方法的总体性能。数据集是由2019张图片,每张图片的RGB图像的大小 2048年 1536年 。表 2总结了6类数据集和使用T1、T2、T3、T4, T5, T6每个类别标签。为了有效地降低该方法的过度拟合的问题,我们通过提取随机手动放大SDT数据集 960年 960年 原始图像的图像补丁。然后我们调整图像补丁 140年 140年 。这不仅节省了医学图像的主要信息,还减少了算法的运行时间。我们的实验可以看到如下的配置。数据集分为三部分:训练集,验证集和测试集,比7:1:2。此外,我们训练我们的模型提取的补丁的10倍交叉验证。编码的网络,花了45时代网络收敛。它训练的编码网络使用随机梯度下降法和批处理大小为100的图片,0.9势头。此外,在0.01学习速率是初始化,它将通过培训手动调整。该战略是引用的 13]这是学习速率除以10当验证出错率不再提高。

六类声波时差与发生数量数据集。

图像分类 数量的图片 标签
色素沉着过度的基底细胞层 162年 T1
棘皮症 451年 T2
角化不全 265年 T3
角化过度 328年 T4
浸润的淋巴细胞 597年 T5
乳头瘤病 216年 T6
3.2。精度分析

在这一节中,有必要比较编码与多尺度网络高级特性证明算法的有效性和效率。此外,多尺度特性+ SAE (MSAE)将与多尺度特性+ PCA (MPCA)来验证降维的效率。定量评价如表所示 3的整体精度达到86.2%,92.6%,和95.3%,分别。从表 3它可以发现MSAE拥有最好的算法精度优于其他两种算法。此外,很明显,MSAE和MPCA增益可以执行比编码网络演示了多尺度的高层的效率特性和降维的效果。所有的实验都在Matlab中实现使用MatConvNet包( 18]。和所有的实验都在计算机上i5 - 6500 3.2 GHz CPU, 32 G内存,GTX1060 GPU。

算法的整体精度的比较。

算法 项数据的准确性
网络编码 86.2%
MPCA 92.6%
MSAE 95.3%

在表 4它报告的实验结果显示,算法精度的比较在每个类别。我们可以看到,无论哪种算法,它将获得在某些情况下比整体性能更好的精度。不平衡问题将占这一现象。更多的样本类别躺在数据集,精度可以达到越好。此外,从表 4我们清楚地知道MSAE优于编码网络和MPCA在每个类别中再次证实了该方法的有效性。

在数据集SDT算法精度的比较。

标签 网络编码 MPCA MSAE
T1 80.0% 88.8% 94.0%
T2 88.7% 95.5% 97.3%
T3 87.6% 97.3% 98.4%
T4 84.2% 89.4% 96.5%
T5 88.0% 91.8% 93.3%
T6 84.3% 90.7% 92.5%

1显示了不同的混淆矩阵算法。在混淆矩阵,薄荷绿细胞代表的数量和比例正确预测的算法;粉色阴影细胞表现出的数量和比例不正确的预测。混淆矩阵的最后一行,它给每个类别的精度,同时也获得每个类的回忆在过去的混淆矩阵的列。最后混淆矩阵的对角元素代表了整体算法的准确性。从图 1,MSAE可以实现精度比MPCA在每个类和编码网络。我们建议的模型的性能可以明显提高少数类。此外,它会得出一个结论,T2与T5熟悉的结构。相对数量的样本T2 T5预计将会解释这一现象。为了更好的评估算法,我们遵循 19使用接受者操作特征(ROC)不同的类作为评估标准。图 2比较了ROC曲线不同的类。此外,它计算曲线下的面积(AUC)更直观的比较。表 5显示不同的算法的平均AUC。很明显,我们的模型可以实现0.9912的AUC是比编码网络和MPCA 0.9617和0.9855,分别。

平均AUC不同的算法。

算法 平均AUC不同的算法
网络编码 0.9671
MPCA 0.9855
MSAE 0.9912

不同的算法的混合矩阵。

网络编码的混合矩阵

MPCA的混淆矩阵

MSAE的混淆矩阵

不同的算法的ROC曲线在不同的标签。

4所示。结论

我们提出一种多级组织病理学图像分类方法是基于多尺度特征。这种方法训练网络提取高级特性,结合一个卷积编码层特性和接触特性作为多尺度的高级特性。为了解决高维度的问题和加快算法的运行时间,我们使用SAE和主成分分析降低维数的多尺度特性。最后,我们评估数据集SDT上的方法,结果表明,MSAE优于PSAE和编码网络。在未来的工作中,我们将培训薮猫DCNNs整体学习,可以从这些DCNNs提取高级特性。具体来说,我们将设计一个深度学习框架称为多尺度高层框架,它获得的特性。与此同时,融合这些高级特性提要到分类器分类组织病理学图像。

的利益冲突

作者宣称没有利益冲突。

J。 X。 G。 吉尔摩 H。 Madabhushi 一个。 深卷积神经网络分段和上皮和间质地区组织病理学分类图像 Neurocomputing 2016年 191年 214年 223年 10.1016 / j.neucom.2016.01.034 2 - s2.0 - 84977845763 Cruz-Roa 一个。 Basavanhally 一个。 冈萨雷斯 F。 吉尔摩 H。 费尔德曼 M。 Ganesan 年代。 N。 张照片 J。 Madabhushi 一个。 自动检测的浸润性导管癌与卷积神经网络整张图片 9041年 学报学报医学成像、光学和光子学的国际社会 2014年2月 904103年 904103年 10.1117/12.2043872 2 - s2.0 - 84901774997 J。 l Q。 吉尔摩 H。 J。 J。 Madabhushi 一个。 堆叠稀疏autoencoder (SSAE)核检测乳腺癌组织病理学图像 IEEE医学成像 2016年 35 1 119年 130年 10.1109 / TMI.2015.2458702 Esteva 一个。 Kuprel B。 诺沃亚 r。 Ko J。 不要 s M。 蓝色 h . M。 杜伦 年代。 Dermatologist-level皮肤癌与深层神经网络分类 自然 2017年 542年 7639年 115年 118年 2 - s2.0 - 85016143105 10.1038 / nature21056 Sirinukunwattana K。 拉扎。 s e。 曾荫权 Y.-W。 大镰刀刀柄 d . r . J。 克里族 我一个。 Rajpoot n·M。 位置敏感的深度学习核探测和分类的例行结肠癌组织学图像 IEEE医学成像 2016年 35 5 1196年 1206年 10.1109 / TMI.2016.2525803 2 - s2.0 - 84968542311 Vu t·H。 穆萨维 h·S。 Monga V。 G。 英国。 组织病理学图像分类使用区别的面向功能字典学习 IEEE医学成像 2016年 35 3 738年 751年 10.1109 / TMI.2015.2493530 2 - s2.0 - 84963758189 Litjens G。 桑切斯 c。I。 Timofeeva N。 深度学习作为一个工具,增加组织病理学诊断的准确性和效率 科学报告 2016年 6 26286年 10.1038 / srep26286 2 - s2.0 - 84970028091 没吃 V。 l 萨马拉斯 D。 Kurc t M。 沙尔茨 j . H。 Center-focusing多任务cnn注入特性分类的神经胶质瘤核图像 学报2017年IEEE冬季会议上的应用计算机视觉(WACV 17) 2017年3月 圣罗莎、钙、美国 834年 841年 10.1109 / WACV.2017.98 X。 G.-J。 J。 J。 Weakly-Shared深heterogeneous-domain知识转移网络传播 学报》第23届ACM国际会议多媒体(15毫米的) 2015年10月 35 44 10.1145/2733373.2806216 2 - s2.0 - 84962844543 t·s·艾。 J。 在香港 R。 H。 Z。 Y。 NUS-WIDE:一个真实的web数据库从新加坡国立大学的形象 学报ACM国际会议上图像和视频检索(CIVR ' 09) 2009年7月 368年 375年 10.1145/1646396.1646452 2 - s2.0 - 74049158146 x Y。 J。 Z。 Z。 轮:通过混合并行与分布式gpu加速cnn和替代策略 美国2017年的ACM学报》上 2017年10月 美国加州山景城 393年 401年 10.1145/3123266.3123435 太阳 Y。 X。 X。 深度学习的脸表示从10000年预测类 《IEEE计算机视觉与模式识别会议(CVPR 14) 2014年6月 美国哥伦布,哦 1891年 1898年 10.1109 / cvpr.2014.244 Krizhevsky 一个。 Sutskever 我。 辛顿 g . E。 Imagenet与深卷积神经网络分类 学报》第26届年会在神经信息处理系统(捏12) 2012年12月 太浩湖,NV,美国 1097年 1105年 2 - s2.0 - 84876231242 辛顿 g . E。 斯利瓦斯塔瓦 N。 Krizhevsky 一个。 Sutskever 我。 Salakhutdinov R R。 改善神经网络通过防止互相适应的特征探测器 https://arxiv.org/abs/1207.0580 斯图尔特 年代。 艾薇 m·A。 Anslyn e . V。 利用主成分分析和判别分析差动传感例程 化学学会评论 2014年 43 1 70年 84年 2 - s2.0 - 84889011428 10.1039 / c3cs60183h 吉里 D。 Rajendra Acharya U。 Martis称 r . J。 Vinitha Sree 年代。 Lim 苏耿赋。 艾哈迈德 T。 苏瑞 j·S。 自动诊断冠状动脉疾病影响患者使用LDA, PCA、ICA和离散小波变换 以知识为基础的系统 2013年 37 274年 282年 2 - s2.0 - 84870060821 10.1016 / j.knosys.2012.08.011 Demšar U。 哈里斯 P。 Brunsdon C。 Fotheringham 答:S。 McLoone 年代。 主成分分析在空间数据:概述 美国地理学家协会上 2013年 103年 1 106年 128年 10.1080 / 00045608.2012.689236 2 - s2.0 - 84870867507 Vedaldi 一个。 Lenc K。 为matlab MatConvNet:卷积神经网络 第23届ACM国际会议多媒体学报》上 2015年10月 澳大利亚布里斯班 689年 692年 10.1145/2733373.2807412 布达 M。 真希 一个。 Mazurowski m·A。 类不平衡问题的系统研究卷积神经网络 10.1109 / IJCNN.2009.5178759