文摘

在本文中,我们解决问题的识别脑出血为放射科医生被认为是一个乏味的任务,特别是在早期阶段的出血。问题已经解决了使用深度学习方法卷积神经网络(CNN)的,知名AlexNet神经网络,以及修改后的小说版本的AlexNet与支持向量机(AlexNet-SVM)分类器训练大脑计算机断层扫描(CT)图像分类为出血或nonhaemorrhage图像。采用深度学习模型的目的是解决主要的问题在医学图像分析和分类:可以足够微调的一个pretrained模型(学习)转移消除从头构建一个CNN的需要吗?此外,本研究还将探讨使用支持向量机作为分类器的优点而不是三层神经网络。我们应用相同的分类任务三个深网络;是从头开始创建的,另一个是pretrained模式调整脑部CT出血分类任务,和我们修改小说AlexNet模型,使用支持向量机分类器。三个网络训练使用相同数量的脑部CT图像。实验表明,知识的转移从自然图像、医学图像分类是可能的。此外,我们的结果证明,该修改pretrained模型“AlexNet-SVM”可以比从头创建一个卷积神经网络和原始AlexNet识别大脑出血。

1。介绍

颅内出血(ICH)显示在颅内出血库(1]。脆弱的血管、高血压、创伤和滥用药物通常是什么引发这种疾病。我是一个神经紧急的可以有几个子类型如基底神经节、尾状核、桥。出血的类型通常依赖于出血[的解剖位置2]。据美国心脏协会和美国中风协会,我是重要的早期和及时诊断这种情况一般可以恶化后影响患者刚出生的那几小时内发生(3]。头部电脑断层扫描(CT)成像方法用于检测出血是由于其广泛的可用性和速度。这个形态显示高敏感性和特异性检测急性出血[2]。

最近,深度学习上升迅速和有效。深上优于网络显示一个伟大的泛化能力当应用于解决具有挑战性的医学问题,如医学图像分类(4,5),医学图像分析(6),医疗机构检测(7),和疾病检测8]。卷积神经网络是最有效的网络中深层网络,因为他们自己的更多生物启发的范式结构比其他传统网络(9]。

最终,各种卷积神经网络开发如AlexNet [10],VGG-NET [11],ResNet [12];这些深层网络都是广泛的培训在一个名为ImageNet的大型数据库,大规模的视觉识别的挑战[13),他们认为是艺术在图像分类的状态11- - - - - -13]。这些网络被认为是作为机器学习方法,可以学习特性等级从低层次到更高的水平,通过建立深架构的输入数据。

深度的增加卷积神经网络的性能,因为他们的不同级别的抽象特性,促使许多研究者转移知识获得的网络,当数以百万计的训练图像到新的任务,如医学图像分类,受益于他们的学习参数,特别是权重。

这些卷积神经网络模型使用完全连接层,,它代表的是使用传统的反向传播前馈神经网络训练算法。这意味着这些模型可能有相同的缺点传统简单的神经网络。

一个有效的神经网络模型是表现良好在训练和测试数据集;一个好的平衡误差方差和偏移误差之间必须达成(14]。对于简单的模型,高偏差和低方差的情况下显示当培训这些模型;这叫做underfitting。对于更复杂的神经网络模型,模型训练的进步可以让输入一个地区的低水平的方差和偏差;这可以被认为是一个不错的选择。然而,随着训练的进行进一步的(更复杂的模型),该模型可能会通过一个高方差和低偏差,这叫做过度拟合。这被认为是一个主要的问题在训练中一个复杂的神经网络模型。

有许多方法缓解这个问题(15]。重处罚,这些方法包括早期停止举重pretraining,辍学隐藏的神经元。然而,在我们的研究中,我们应该避免这些问题通过替换将SoftMax神经网络的多类支持向量机作为分类器对pretrained使用模型。有很多进行研究[16- - - - - -18),试图找到一个替代SoftMax函数分类任务。所有这些研究得出结论,支持向量机(SVM)可能是合适的选择,因为它可能会稍微提高神经网络的性能比传统SoftMax函数。

因此,在本文中,我们的目标是知识被AlexNet收购转移到一个新的目标任务:分类CT脑出血出血或nonhaemorrhage图像。此外,CNN是从头开始创建和修改AlexNet结合支持向量机也用来执行相同的分类任务。雇佣一个CNN从头开始创建的目标和微调pretrained模型相同的分类任务是显示转移上优于网络数据没有太多时可以表现得更好。此外,它的目的是显示足够的微调pretrained模型可以消除需要从头开始培训一个深CNN通常需要长时间,需要大量的图片来学习。注意,在本研究中,CNN从头开始创建与CNN表示,pretrained模型,使用原始AlexNet AlexNet架构来标示,和修改模型和AlexNet-SVM表示。

本文结构如下:部分1介绍的工作。部分3是一个简短的说明卷积神经网络基本知识,而部分4解释学习概念包括AlexNet转移。部分5。3讨论了培训的两个使用深度网络数据用于训练。部分6论述了网络性能,比较了两种模型的结果。最后,部分8是论文的结论。

2。相关工作

卷积神经网络已经被用来克服大医疗挑战像图像分割19残疾人)和控制(20.]。侯赛因et al。19)已经开发出一种卷积神经网络用于最常见的脑部肿瘤的分割,即。,神经胶质瘤肿瘤。作者提出了一个系统由两个网络,堆叠在一起形成一个新的ILinear nexus架构。这个新的体系结构能够实现最好的结果在所有的建议和相关的架构。另一项研究由Abiyev和极具(20.]表明卷积神经网络也可以使用作为残疾人的支持元素。作者提出了一种人机界面基于两个卷积神经网络为残疾人设计与脊髓,眼球运动来控制鼠标。他们的工作由手工制作的数据集,验证和测试,结果表明,网络性能的总得分超过许多其他相关作品。

此外,深度学习技术采用以往et al。21)分类脑部电脑断层扫描(CT)图像出血或健康。作者用autoencoders和深卷积神经网络来执行这个任务。作者声称,采用不同的模型进行训练和测试在2527年图像。发现在他们的论文中使用的堆叠autoencoder包括三个隐藏层和优于其他网络,它达到了最高的分类速度和最低的均方误差。作者认为的可能的原因表现在堆叠autoencoder卷积神经网络由于小数量的数据用于训练,作为CNN需要大量的训练例子为了收敛。

在另一项研究由Mahajan和Mahajan [22],脑出血被喂以更精确的方式检查使用分水岭算法和人工神经网络(ANN) CT脑出血类型的识别。这项工作的作者使用特征提取之前喂养图像神经分类器,提取不同的特征使用灰度共生矩阵法应用灰度共生矩阵建立()。功能然后按传统的反向传播神经网络用于识别分类的出血的类型。他们发现,适当的图像处理技术,如噪声去除和高细分方法是准确识别所需的出血。

此外,锣等。23)集中在脑部CT图像划分成区域,每个区域可以是正常或出血。图像包含出血,地区不包括出血被视为正常的地区导致一个高度不平衡数据集。研究者利用了图像分割方案,利用椭圆拟合,背景去除,小波分解技术。这种方法的加权精度和召回值约83.6%和88.5%,分别。

3所示。卷积神经网络

卷积神经网络(CNN)是一个well-employed网络几个任务在机器视觉和医学24,25]。通常,CNN依靠建筑特色,包括接受域,体重分享和池操作考虑结构化数据,如图像的二维特征(26]。体重分享卷积的概念地图大大降低模型参数;这具有重要意义,模型是不容易过度拟合比完全连接类似大小的模型。池操作本质上降低了输入地图的空间维度,并允许CNN学习一些温和的扭曲的不变性培训;CNN的这个特性提高了泛化测试时间的模型更宽容温和的失真测试数据(27]。典型的美国有线电视新闻网图所示1。从本质上讲,卷积层、汇聚层和显示完全连接层。例如,第一层使用n卷积过滤器的大小一个×一个生成一个银行n卷积地图(C1)的大小我×我;这是紧随其后的是一池(二次抽样)操作卷积地图的窗口大小b×b。因此,池层(S1)组成n特征图的大小j×j,在那里,j=我/b(25]。卷积层上执行特征提取的输入通过一个指定大小的卷积过滤器。池操作池特性在输入地图使用指定大小的窗口;常见的池操作用于应用程序的平均和最大池(28]。平均池、输入的平均值被池窗口,同时,在max池,输入被池窗口的最大值。学习分类器模型,功能是forward-propagated通过网络的完全连接层和一个输出层单元。然后,反向传播学习算法可以用来更新模型参数通过梯度下降法更新规则(29日]。

4所示。转移学习

在医学图像的分析和处理中,一个最常见的问题是,为研究目的可用数据的数量是有限的。因此,训练一个完全深网络结构像CNN和少量的数据可能导致过度拟合,通常低性能和泛化能力的原因30.]。转移学习是解决这一问题,有效的学习参数和训练有素的网络共享一个非常大的数据集。转移的概念学习是使用pretrained模型已经在大型数据集和转移其pretrained学习训练参数,特别是重量、有针对性的网络模型。能够使用网络的另一个问题,最后完全连接层然后用初始随机权重训练新的数据集。虽然数据集不同的网络训练,低级特征是相似的。因此,pretrained模型的参数的传输可能会提供新的目标模型与一个强大的特征提取能力和减少培训成本计算和内存。转移学习已被广泛用于医学成像,它显示一个伟大的功效在准确性方面,培训时间和错误率(10,31日,32]。在本文中,我们提出一个修改pretrained模型,AlexNet,已用于脑出血CT图像的分类为正常和异常类。

4.1。AlexNet

AlexNet是第一卷积神经网络实现的分类精度最高ImageNet大规模视觉识别的挑战(ILSVRC)在2012年[10]。这深层结构由八个主要层;前五层主要是曲线玲珑,虽然最后三个完全连接层。每一个卷积层是紧随其后的是一个激活函数层,即。,rectified linear units layer (ReLU), proposed to improve the performance of the network by making the training faster than equivalents of “tanh” activation functions [10]。每个卷积层后,麦克斯AlexNet池使用,以减少网络的大小。此外,添加一层辍学后,前两个完全连接层这有助于减少神经元的数量,防止过度拟合(33]。最后,添加一层最后一层后对给定的输入数据进行分类。图1显示了AlexNet的结构。

5。材料和方法

这项工作地址脑部CT图像的分类问题为正常或出血,这可能是一个艰巨的任务对于一些初级放射科医生和医生。问题是解决的实现广泛深入学习网络训练获得的力量从正常的大脑中提取低到高水平的特性与出血CT图像和其他医疗条件使用其设计和训练有素的过滤器。这些功能是区分类大脑的图像,即。,出血。尽管如此,知识的转移从最初的目标任务,这是这里出血鉴别,也被认为是通过转移的知识pretrained模型称为AlexNet,到一个新的分类任务和测试它的相同数量的图像用于测试CNN从头开始创建。通过这种方式,我们的目标是解决医学图像分析和诊断的核心问题:培训深CNN不需要从头开始;相反,使用一个pretrained修改AlexNet通过添加SVM分类器将其知识转移到一个新的目标任务提供足够的微调。我们进行了CT脑出血实验分类使用CNN从头开始创建和pretrained模型将展示这一核心问题背后的真相和准确性。

5.1。数据

使用的两个模型训练和测试使用正常和病变的脑部电脑断层扫描(CT)图像收集Aminu卡诺的教学医院,尼日利亚(34]。重要的是要注意,异常图片从这个数据库收集不同类型的出血,但是他们都贴上出血,因为这项工作旨在分类是否CT片包含出血;出血识别从组出血病理类型的图像无论它可能是可行的35]。

5.2。数据增加

深层网络是用系统(36),因此,更多的数据你给他们,他们就会变得更强大的和准确的。因此,在这项工作我们决定使用数据增加为了把图像数据库的收集的数量,它可以帮助防止期间可能遇到的过度拟合训练(37]。因此,每个图像首先旋转左和右,然后翻转70,160,270度。总的来说,总数12635正常大脑和出血CT图像。注意,70%的数据用于训练使用网络而30%是用于测试,即。,图像,分别为8855人和3790人。表1显示了用于这项工作的学习计划。

图2显示了一些正常的大脑和出血CT片是用于培训和测试网络。

最初的图像数据库的大小1024 1024∗∗1像素;因此,他们首先downsampled 227∗227∗1像素适合的输入层pretrained模型:AlexNet不接受其他输入数据大小。注意,我们决定使用相同的输入图像大小为CNN从头开始创建的,只对网络性能比较的目的,虽然可以使用任何大小。此外,数据库的图像灰度类型,由于AlexNet模型需要3通道的输入数据,图像都是由连接他们的灰度转换为RGB通道成为227 227∗∗3三倍。

5.3。训练网络模型

使用的两个深模型模拟使用MATLAB环境。网络被训练在Windows 64位台式电脑的英特尔酷睿i7 4770中央处理单元(CPU)和16 GB随机存取内存。提到是很重要的,没有图形处理单元(GPU)可以在桌面使用。

网络的性能评估进行了使用了测试集数据的30%。损失的计算和精度是实现如下: 在哪里P(C)是正确的概率分类图片,n是图片的数量,而N是图片的总数在训练和/或测试阶段。

5.3.1。CNN的培训

CNN的模型体系结构和培训设置用来执行脑出血的分类提出了在这一节中。广泛的测试执行确定最佳学习参数,优化神经网络。注意,12635年脑CT图像检索,8855张图片3790幅图像用于训练和用于验证训练网络。

CNN架构用于脑出血的分类图像如图3“Conv”代表一个卷积层,“BN”表示批正常化,“调频”表示特征图谱,“俱乐部”表示完全连接层。本文所有执行卷积操作使用卷积过滤器的大小与补零3×3;所有池操作执行使用最大池大小2×2的窗户;输入图像的模型尺寸32×32。

该建议的体系结构设计,我们考虑的大小(即可用。,有限的)训练数据构建一个学习模型正规化。例如,我们采用批量标准化和辍学培训计划已证明能提高模型的泛化(38- - - - - -40]。优化该模型,我们采用minibatch通过梯度下降优化;我们使用一个批处理60的大小。此外,我们使用0.001的学习速率和火车模型100时代。训练有素的CNN的学习曲线如图4;验证的准确性达到90.65%。

此外,我们观察辍学时验证性能下降和批处理标准化不是用于训练模型;验证它的准确率为87.33%。脑出血识别的整体系统测试使用一些网上脑出血CT图像从不同的来源获得。从上述数据库,我们收集的脑部CT图像对象与不同的出血条件测试图像。即。,图5。发达出血识别实验结果表明,深框架能够有效地分类出血在测试图像的准确性达87.13%。

我们注意到,与其他作品所提议的方法在相同的训练和测试数据集,本文提出管道一直在训练和验证一个数据集,取得了可喜的成果当再次测试在一个完全不同的数据集。这显示了设计的鲁棒性的CNN这样的分类任务。

5.3.2。AlexNet培训

AlexNet pretrained模型选择是本研究中使用,因为其在特征提取的有效功率。我们可以看到在图5,这深卷积神经网络由5卷积层表示CONV1 CONV5。这些层紧随其后3完全连接层表示作为一个FC3,文件FC1连同Softmax激活函数在输出层(多项逻辑回归)。

在这个研究中,网络的公开可用的重量训练对ILSVRC12。pretrained模型采用(AlexNet),最后完全连接层(FC8)断开连接,以添加一个新层有2个输出神经元对应两个脑部CT图像的类别。请注意,这一层的权重随机初始化。

相反,其余5卷积层保存在共享的网络学习参数,特别是权重。这些权重已经训练在大型数据集,ImageNet,提取输入数据的高级特性。因此,当转移的知识AlexNet出血分类任务,这些权重可以作为一个强大的器输入数据的不同级别的抽象特性。

网络训练使用minibatch大小200每个迭代的图像通过随机梯度下降法SGD [42]。同时,初步学习速率是完全连接层设置为0.01 (FC6, FC7, FC8)和2000次迭代后减少0.1倍。所以,这可能系的学习最终完全连接的网络层(FC8)。表2显示了网络参数在训练和分类任务的结果。看到,AlexNet已经达到平均训练和测试的准确性为94.12%和92.13%,分别。

选择一个图像从测试数据集来评估网络的性能分类途径。表3显示了均方误差(MSE)损失每次卷积后层被训练。

5.3.3。提出AlexNet-SVM培训

图6AlexNet显示修改版本的架构,一个支持向量机分类器是一个神经网络代替。AlexNet-SVM,同样,这个修改网络也是相同的训练条件和相同数量的图片除了迭代的数量是140。

见图6AlexNet-SVM训练参数类似于AlexNet的参数;然而,它是指出,他们的表现是不同的。AlexNet-SVM训练,达到一个较低的MSE(0.054)比其他网络。此外,AlexNet-SVM达到更高的精度在训练和测试值的96.34%和93.48%,分别。

6。结果与讨论

一次训练,所有的网络模型是测试可用数据的30%。表4在测试过程中显示了每个模型的性能。可以看到,CNN, AlexNet AlexNet-SVM实现不同精度为90.65%,92.13%,和93.48%,分别。AlexNet-SVM能够实现对看不见的数据更准确的概括能力。然而,更多的时代需要达到这样的精度,这是相对高于CNN和AlexNet所需达到的最高精度。也指出,AlexNet-SVM达到较低的均方误差(MSE)达成的(0.054)比AlexNet CNN(0.087)和(0.092);然而,这也需要较长的训练时间。训练的学习曲线模型如图7- - - - - -9。数据显示,变化精度对时代的数量的增加。因此,它被认为,所有的模型都是训练有素的,但是AlexNet深度的增加和AlexNet-SVM更困难的训练,即。,它需要更长的时间和更多的时代达到最小平方误差(MSE)和收敛。此外,重要的是要提到,由于这种差异在时间和时代的数字,AlexNet-SVM导致分类器的识别率降低MSE和高于得分AlexNet和CNN。结果,了解网络的学习性能,我们有一个深入学习的不同功能的工作模型,通过可视化学习内核或卷积功能层,如图10和11。

数据10和11分别显示了CNN和AlexNet学习的特性。从图6,可以看出神经元卷积在第一层神经元主要活跃在训练数据获取良好的特性。然而,从图11,看到最后卷积AlexNet层的神经元是最活跃的神经元捕捉描述性和不同层次的特性。此外,CNN相比,这一层有一个改善活动的观察学习的特性。最后,它可以指出,第一个和最后一个卷积层的神经元网络学到不同和有趣的输入图像的表示。一般来说,网络往往学习更具描述性的和不同层次特性在运行时往往会表现得更好,知识获得的无监督pretraining有助于更好的微调和分类。

表5显示了一个比较发达的网络与一些先前的工作,提出了分类脑出血使用深度学习。注意,我们应该把我们的方法与深层网络和pretrained模型研究提供明确实现精度和数量的数据。首先,一般的分析表显示pretrained模型(基于转移学习网络)实现更高精度相比,那些是从头开始创建的。拟议中的AlexNet_SVM受雇于本研究实现更强大的使用神经网络分类器的泛化能力比其他AlexNet像网络用于这项研究和其他研究[43]。此外,AlexNet-SVM比从头创建的网络如卷积神经网络和autoencoders [21]。此外,它被认为雇佣pretrained模式(AlexNet)达到一个更高的识别率(92.13%)比其他早期的研究工作如CNN从头开始创建更少数量的图像(21]。同时,该模型优于其他类型的深层网络如autoencoder(88.3%)和堆叠autoencoder (90.9%) (21]。这可能是由于新生的网络的缺陷提取输入图像的重要特征是由于小数量的图像用于训练他们除了他们的深度。

总的来说,pretrained模型来解决出血的应用分类挑战可以得到令人满意的结果,因为这些深层结构获得了强大的特征提取功能训练时使用巨大的数据库,如ImageNet [13]。结果的应用提出了AlexNet-SVM, AlexNet和CNN的研究表明,应用深CNN脑出血承诺的问题,在某种程度上,出血可以识别神经网络误差较低。

6.1。绩效评价指标

这些指标是来自测试采样图像的分类,如表所示6,被列联表叫做派生混淆矩阵(13]。精度指示正确地分类图像样本的比例,而不考虑它们的类标签。对积极和消极二进制分类总结类,敏感性的比例正确分类样本和特异性是正确的数量负样本分类:

6.2。模型比较

在本节中,比较传统的AlexNet提出AlexNet-SVM是解释说,为了显示AlexNet的融合和支持向量机的优点,除了AlexNet-SVM突出表现的可能的原因。见表5AlexNet和SVM的融合导致了轻微的精度提高到0.934。这突出表现主要是由于使用SVM使用不同的优化准则。该算法用于预测损失最小化训练集的神经网络。然而,在实践中,有两个挑战这种风险。首先是凸性;这不是凸这意味着可能存在许多当地的最低标准。第二个问题是平滑;它不是光滑的,这意味着它可能不是实际最小化。相反,支持向量机的目标是最小化泛化误差通过使用结构风险最小化原则的测试。结果最大化,支持向量机的泛化能力大于其他的分类器。

7所示。限制

深度学习在医学应用的有效性是伟大的时间和改善;然而,它仍然遇到一些缺点,特别是,可用性的数据。数据的变化(例如,相反,噪音,和分辨率)可以适应的主要障碍之一,深入学习医学。这些智能模型可以遭受贫困泛化如果数据包含一些噪音,当他们从不同的方式生成。此外,深度学习模型是数据驱动系统;数据越多,他们就会变得更有效率。问题是很少数据没有公开在医疗领域由于隐私问题在大多数情况下,包含敏感信息的数据。因此,我们和许多其他研究人员倾向于使用基于转移学习模型通常需要更少的数据来学习,他们已经训练使用大量数据。因此,该系统具有学习能力的不同层次的功能,这有助于在适应新任务准确,即使数据并不大。

8。结论

在本研究中,检测脑出血的CT图像问题解决了使用神经网络和良好的健壮的和发展的结果。这项研究背后的动机之一是地址并尝试克服困难,放射科医生可能会遇到当脑出血疑似诊断图像。因此,我们调查潜在的深层卷积神经网络的使用能够帮助医学专家更准确的决策。结果,这可能减少出血的诊断错误和提高精度鉴定由医学专家。本文提出了一种pretrained修改网络“AlexNet-SVM”相同的分类任务。这三个模型包括该模型被训练在一个相对较小的数据库来检查网络性能。很明显,深度学习网络的应用在医学图像分析中遇到的一些挑战。最常见的挑战是缺乏大型训练数据集可以被认为是一个障碍。在本研究进行的实验表明,知识的转移到医学图像可以是有可能的,尽管深层网络最初训练对自然图像。该模型使用支持向量机分类器有助于改善AlexNet的性能。 Moreover, it was manifested that small number of data can be enough for fine-tuning a pretrained model, in contrast to a CNN created from scratch which needs a large number of data to be trained. Thus, the proposed model’s performance is an indicator of how transfer learning-based networks can be considered in brain haemorrhage identification.

数据可用性

脑出血的数据用于支持本研究的发现可能在应用发布Aminu卡诺教学医院,卡诺,尼日利亚,http://akth.org.ng/index.php/contact。

的利益冲突

作者宣称没有利益冲突。