文摘

最近,深度学习,尤其是通过卷积神经网络(cnn)已经被广泛用于启用高度代表特征的提取。这样做是在网络层的过滤、选择和使用这些特性在过去完全连接层进行模式分类。然而,CNN培训自动化内窥镜图像分类仍然提供了一个挑战由于缺少大型公开注释数据库。在这个工作我们探索深度学习的自动化分类结肠息肉使用不同配置培训cnn从头开始(或完整的训练)和不同的架构pretrained cnn 8-HD-endoscopic测试图像数据库使用不同的形式获得。我们比较我们的结果和一些常用的功能为结肠息肉分类和学习的好结果表明功能cnn从头训练和“现成的”cnn特性可以高度相关的结肠息肉的自动分类。此外,我们还表明,经典的组合特性和“现成的”cnn特性可以进一步提高结果的好方法。

1。介绍

肠道相关死亡的主要原因是肿瘤细胞的发展在许多地方(息肉)。早期检测(当癌症仍处于早期阶段)和常规考试每个人都在一个50岁可以减少这些患者死亡率的风险。更具体地说,结肠息肉(良性肿瘤或增生发生在结肠内表面)有很高的发生和已知是结肠癌发展的先兆。

识别结肠息肉的内镜是最常见的方法和一些研究已经表明,自动检测的图像区域可能包含在结肠息肉可以用来协助专家为了减少息肉错过率(1,2]。

息肉的自动检测计算机辅助诊断(CAD)系统通常是通过统计分析基于颜色、形状、纹理、空间特性应用到视频帧(3- - - - - -6]。检测的主要问题是不同方面的颜色、形状、纹理的息肉,被影响,例如,视角,捕捉镜头的距离,甚至由结肠吹气以及结肠肌肉收缩的程度(5]。

检测后,结肠息肉可以分为三个不同的类别:hyperplasic,腺瘤和恶性。荣誉等。7)提出了所谓的“坑形态”计划来帮助诊断肿瘤的病变一旦发现可疑区域。在这个方案中,结肠的粘膜表面可以分为5个不同类型指定的大小、形状和分布的坑结构(8,9]。

我们可以看到数据1(一)- - - - - -1 (d)的部门,这五个模式还允许病变主要分为两类:(1)正常粘膜或增生性息肉(健康类)和(2)肿瘤,腺瘤或癌的结构(异常类)。这种方法非常相关的在临床实践中所示加藤等的研究。10]。

在文献中,现有的计算机辅助诊断技术通常利用颜色特征提取方法,形状,纹理结合机器学习分类器进行结肠息肉的分类(9,11,12]。例如,dual-tree复小波变换DT-CWT特性被证明是相当适合的区别不同类型的息肉可以看到在许多作品,例如,(13- - - - - -15]。其他功能也被证明是非常适合结肠息肉分类为伽柏小波(16),血管化特性(17),和方向小波变换特性(18]。特别是在威默等人的作品。188),使用相同的结肠息肉数据库的工作,平均精度为80.3%,在最好的情况下实现。在这项工作中,我们实现我们最好的场景中平均精度为93.55%。

特征提取方法的主要困难的正确描述这些模式是由于几个因素作为照明的缺乏或过剩,由于运动模糊或注水,息肉的出现(5,9]。同时,找到一个健壮的和总结的全球特征提取器,代表所有这些坑形态结构在一个向量是非常困难和深度学习可以是一个不错的选择来超越这些问题。在这个工作我们探索深度学习的使用通过卷积神经网络(cnn)来开发一个健壮的模型特征提取和高效的结肠息肉的分类。

为了达到这个目标,我们测试使用cnn从头训练(或完整的训练)和现成的cnn(或pretrained)使用他们作为医学影像特征提取器。CNN在形成完整的训练中,我们假设特征提取器在CNN培训,适应数据库的背景下,尤其是在现成的CNN的情况下我们认为原始数据库的学习模式可以用于结肠镜检查图像为结肠息肉的分类。特别是,我们探索从头培训两个不同的体系结构和六个不同的现成的体系结构,描述和分析了影响不同的并购模式的cnn结肠镜检查图像(8种不同的数据库)。本研究是出于最近的研究在计算机视觉处理的新兴技术深度学习在下一小节中介绍。

2。材料和方法

2.1。小数据集上使用cnn

一些研究者提出取代手工制作的特征提取算法和深度学习方法作为特征提取器和图像分类器在同一时间(19]。例如,深度学习方法使用cnn利用许多连续卷积层之后,池层降低数据维数使它,与此同时,不变的几何转换。卷积过滤器(内核)是建立在训练过程中作为特征提取器和最近的研究表明,一个令人满意的训练有素的CNN一个大型数据库可以执行正确应用于其他数据库时,这可能意味着内核可以变成一个普遍特征提取器(19]。同时,卷积神经网络(cnn)已被证明是有效的区别的模式识别在大数据和现实问题,主要学习图像的全局和局部结构(20.]。

许多策略利用cnn可以用于医学图像的分类。可以使用这些策略根据每个数据库的内在特征21),其中两个,主要是CNN训练时使用,在以下描述的部分。

当可用的训练数据库足够大时,多样化,并完全不同于数据库中使用所有可用的pretrained CNN(学习)转移的情况下,最合适的方法是随机初始化权重CNN(训练CNN从头训练)和训练它根据医学图像数据库内核领域适应,也就是说,找到最好的方法提取的特征数据,以便正确地对图像进行分类。这种方法的主要优势在于,同样的方法可用于提取的特征不变的失真和图像分类的位置在同一时间。最后,这些输入的神经网络分类器可以利用描绘更准确的超平面帮助网络的泛化。

这个策略,虽然理想,不是由于缺乏大型的和广泛使用带注释的医学图像数据库公开培训CNN。然而,一些技术可以协助CNN从头训练小数据集和最常用的方法是增加数据。基本上,在数据增加、转换应用于图像制作新版本的数据库中增加样本的数量。这些转换可以应用在培训和测试阶段,可以使用不同的策略,如种植(重叠),旋转,翻译,翻22]。实验表明,使用这些技术可以有效的对抗在CNN过度拟合训练和提高识别和分类精度22,23]。

此外,数据库时小,最好的替代方法是使用一个现成的有线电视新闻网(21]。在这种情况下,使用一个pretrained CNN,最后删除或倒数第二线性完全连接层,其余pretrained CNN作为特征提取器来生成一个特征向量为每个输入图像从一个不同的数据库。可以使用这些特征向量训练新的分类器(如支持向量机SVM)分类正确的图像。如果原始数据库中类似于目标数据库,高级特征描述图像正确的概率很高,有关这个新数据库。如果目标数据库不是很类似于原始的,它可以更适合使用高级特性,也就是说,从先前的CNN层特性。

在这项工作中,除了使用cnn从头开始训练,我们认为自然图像和医学图像之间的知识转移使用现成的pretrained cnn。CNN将项目目标数据库样本的向量空间类更容易分离。这一战略的灵感来源于Oquab等的工作。24),它使用一个pretrained CNN在大型数据库(ImageNet)分类图像在一个较小的数据库(Pascal VOC数据集)和改进的结果。与工作不同,而不是复制原文的权重pretrained目标美国有线电视新闻网CNN与附加层,我们使用pretrained CNN项目数据到一个新的特征空间通过结肠息肉的传播数据库到CNN从最后一个CNN获得合成矢量层,获得一个新的表示每个输入样本。随后,我们使用特征向量集来训练一个线性分类器(例如,支持向量机)表示评价结果用于(25,26]。

2.2。cnn和医学成像

近年来已经有机器学习技术,增加兴趣不是基于hand-engineered特征提取器,但使用原始数据学习表示[19]。

在解决有效的并行与gpu的发展,深度学习的使用进行了广泛的探索在过去几年在不同领域的应用。深度学习的使用密切相关的原始数据做高层表示这些知识通过大量的带注释的数据。然而,当涉及到医学领域,这种类型的应用程序是有限的,缺乏大的问题,带注释的和公开的医学图像数据库,如现有的自然图像数据库。此外,这是一个困难和昂贵的任务获得和注释图像和由于不同的医学成像模式的具体性质似乎有不同的属性根据各形态情况甚至加重(21,27]。

最近,工作处理深度学习在医学成像技术的使用已经在许多不同的方式探索主要使用cnn从头开始训练。在生物医学应用中,包括有丝分裂在数字乳腺癌组织学检测(28)和神经元的膜分割电子显微镜(29日]。在计算机辅助检测系统(凯德系统),例子包括凯德的肺栓塞(30.)、计算机辅助解剖检测CT卷(31日),病变检测内窥镜图像(32],僵化的脊柱转移的检测[33),和自动检测息肉在结肠镜检查视频27,34,35]。在医学图像分类,cnn用于组织病理学图像分类(36),消化器官分类在无线胶囊内窥镜图像(37,38),和自动结肠息肉的分类(39]。除此之外,cnn也一直在探索改善的准确性凯德系统膝盖软骨分割使用triplanar cnn (40]。

其他最近的研究显示潜在的知识转移从自然图像使用现成的cnn医学成像领域。例子包括识别和病理学的x射线和计算机断层扫描模式(25肺部perifissural结节(的),自动分类41),肺结节检测(26,乳房x光检查质量损伤分类(42]。此外,在[26),范Ginneken等人表明,cnn特性和古典的结合特性肺结节检测可以提高模型的性能。

2.2.1。cnn从头训练:体系结构

在本节中,我们简要介绍了组件的CNN和如何使用它来执行从头CNN。

CNN非常类似于传统构造的神经网络的神经元与各自的权重,偏见,和激活功能。结构基本上是由一个序列的卷积和池层结束在一个完全连接的神经网络,如图2。一般来说,一个CNN的输入图像(或块),在那里图像的尺寸和吗是渠道的数量(深度)的形象。卷积层组成可学的过滤器(也称为内核)和大小在哪里与输入图像卷积导致所谓的激活地图或特征图。作为传统的神经网络,卷积层输出是提交给一个激活函数,例如,ReLU整流的功能,在那里是神经元的输入。卷积后,池层是包括子样品图像的平均函数(意味着)或max-pooling区域的大小。这些函数是用来降低数据的维数在以下层(上层)和提供的一种形式不变性的翻译从而使过度拟合控制。卷积和汇聚层的步伐必须指定;步幅越大,重叠越小,减少输出音量的维度。

在CNN的最后有一个完全连接层与常规的多层神经网络将Softmax函数生成一个格式良好的输出概率分布。监督培训之后,CNN准备作为分类器或特征提取器的传输学习。

2.2.2。cnn和转移学习

转移学习技术用于提高机器学习的性能通过利用知识获得的另一项任务。根据锅和杨43),转移学习可以被定义为以下模式。我们给一个域有两个组件:一个功能空间和一个概率分布;也就是说,。同时,我们给一个任务有两个组件:一个地面真理和一个目标函数假设这个函数可以通过培训学习数据库。函数可以用来预测记者类的一个新实例。从概率的角度,可以写成。在结肠息肉分类,通常情况下,特征提取器是用来生成特征空间。一个给定的训练数据库关联到地面真理组成的双用于培训和“学习”功能或直到到达之间的定义和可接受的出错率函数的结果和地面真理。

在学习转移的情况下,源域和学习任务和目标域和学习任务、转让学习旨在帮助提高学习目标预测的功能使用知识和,在那里和。

转移的不同类别中学习、一个叫做归纳学习转移,已成功地用于模式识别领域。在归纳学习方法转移一个带注释的数据库是必要的源域和目标域。在这项工作中,我们应用之间转移学习两个非常不同的任务使用不同的标签()和不同发行版()。绕过图像的概率分布之间的差异从原始的函数,最后一层直接连接到分类中删除被取代了其他线性函数(SVM)适应新任务转变成函数。在接下来的部分功能用于这项工作。同时,使用转移学习使用pretrained cnn可以帮助避免这一问题缺乏医学领域中的数据。的作品Razavian et al。19)和Oquab et al。24]表明,CNN的使用中间层可以用作输入输出特性训练其他分类器(如支持向量机)的其他应用程序不同于原来的CNN获得良好的性能。

尽管自然和医学图像之间的差异,一些特征描述符设计特别是对自然图像成功地用于医学图像检测和分类,例如,texture-based息肉检测(3结肠),傅里叶和小波滤波器的分类(18)、形状描述符(44),和当地的分形维数(45为结肠息肉的分类。此外,最近的研究显示,潜在的自然之间的知识转移和医学图像使用pretrained(现成)cnn [34,46]。

2.3。实验装置

2.3.1。数据

使用一个集成的内窥镜设备与高分辨率采集设备已经在临床决策支持系统研究的一个重要对象。用高倍放大结肠镜检查可以获得150倍放大的图像,揭示了粘膜的表面结构以及小病灶。最近工作分类的结肠息肉使用详细的内窥镜图像结合不同技术分为三个类别:高清内镜(有或没有染色粘膜)结合我扫描技术(1、2和3)18],高倍率chromoendoscopy [8,高倍率内镜结合窄带成像(47]。

具体来说,我扫描技术(宾得)用于这项工作是一个图像处理技术的组合组成的表面增强和对比度增强旨在帮助发现发育异常的地区和突出粘膜表面和应用后处理的反射光被称为虚拟chromoendoscopy (CVC) [44]。

我扫描模式有三种:i-Scan1,包括表面增强、对比度增强、i-Scan2包括表面增强、对比度增强、增强语气,i-Scan3,除了包括表面,对比,和音调提高,增加照明强调血管可视化的特点(18]。在这个工作我们使用内窥镜图像数据库(CC-i-Scan数据库)和8种不同成像模式获得的高清内镜(我结肠镜宾得HiLINE高清+ 90)图像的大小提取视频帧使用我扫描技术或没有任何计算机虚拟chromoendoscopy (CVC)。

表1显示图片的数量和病人每个类不同我扫描模式。粘膜染色或不染色。尽管结构最初是在高清图像大小选择(i)足以描述一个息肉,(2)小到只覆盖粘膜的一个类类型(只健康或异常区)。图像标签(地面真理)是根据他们提供组织学诊断。

2.3.2。使用了CNN的技巧

由于结肠息肉的限制图片从头训练良好的CAD系统,该方法的主要元素被定义为(1)提取和预处理图像目标数据库有一个合适的尺寸,(2)使用学习代表cnn特性具有良好的泛化,和(3)的使用方法,以避免过度拟合训练阶段。

测试应用程序的CNN从头训练我们用i-Scan1数据库没有色觉检查(粘膜染色)显示一个使用经典特性和良好的性能在测试pretrained CNN(平均),随后应用最佳配置i-Scan3没有色觉检查数据库,提出最好的结果在经典特性结果。

在第一个实验中,CNN全面训练,提出一个架构应该训练有素的子图象的大小基于的工作20.)符合所选的体系结构。通常,一些简单的预处理技术是图像所必需的功能。在这个实验中我们应用规范化减去均值和除以标准差的元素(48)对应于局部亮度和规范化的对比。我们还执行数据增加通过翻转每个原始图像水平和垂直和旋转的原始图像左和右。除此之外,我们翻水平旋转图像,然后我们翻垂直水平翻转图像,总计7新样品每个原始图像。后增加的数据(导致800图片),我们随机抽取75子图象的大小从每个健康的形象和25子图象从每个异常图像训练集的每个类图像的数量平衡。

同时,在这个实验中,能够比较快的方式不同的体系结构,我们使用交叉验证评估每个架构有10个不同的cnn。在9个,培训我们切除56例和6用于测试,在其中一个,我们删除54患者训练和8用于测试,以确保所有的62名患者进行测试。精度的结果给出每个建筑的平均精度从每个10 cnn训练基于每个图像的最终分类两类。

第二个实验的CNN全面培训我们建议提取子图象的大小从原始图像在第一个实验中使用相同的方法。在本例中,我们探索的假设与CNN的结肠息肉分类可以做只有一个图片的一部分,然后我们训练有素的网络规模较小的子图象而不是整个图像。这有助于减少网络的大小减少其复杂性和可以允许不同的息肉分类相同的图像在图像的不同部分使用不同的子图象。另外,选择小区域纹理图像可以减少的程度intraimage方差数据集的附近是有限的。

除了从头培训不同的体系结构,我们主要探讨六种不同的现成的CNN架构训练对ImageNet执行分类ILSVRC挑战数据。所有测试的输入pretrained CNN大小为224×224×3和描述以及每个CNN给出的细节如下:(我)的CNN VGG-VD(49)使用大量的层非常小的过滤器(3×3)分为两个架构根据他们的层数。CNNVGG-VD16有16个卷积层和五池层而CNN吗VGG-VD19卷积有19层,添加一个卷积在三层的卷积序列层。完全连接层有4096个神经元,后跟一个Softmax分级机1000个神经元对应ILSVRC分类的类的数量。所有的层都是紧随其后的是一个整流器线性单元(ReLU)层诱导的稀疏隐藏单位和减少梯度消失的问题。(2)的CNN-F(也称为快速CNN) (22)类似于亚历克斯所使用的CNN et al。20.]5卷积层。输入图像大小为224×224和快速处理的步幅4像素的卷积层。完全连接层与CNN VGG-VD也有4096个神经元。除了最初的实现,在这个工作中,我们还用MatConvNet实现(beta17 [50])的架构与批规范化培训和细微的差别在其默认hyperparameters这里叫CNN-F m cn。(3)的CNN-M架构(介质CNN) (22)也有5卷积层和3池层。过滤器的数量高于快速CNN: 96年而不是64年卷积过滤器在第一层小一号。我们也使用MatConvNet实现调用CNN-M m cn。(iv)的CNN-S(CNN)缓慢22)有关“准确”网络从Overfeat包51),也有小步幅的过滤器2像素卷积层。我们也使用MatConvNet实现调用CNN-S m cn。(v)的AlexNet美国有线电视新闻网(20.)有五个卷积层,三池层(层2和5)后,和两个完全连接层。然而,这种架构类似于CNN-F卷积层的多个过滤器。我们也使用MatConvNet实现调用AlexNet m cn。(vi)的GoogleLeNet(52]CNN最深的、最复杂的建筑在这里给出的所有其他网络。与两个卷积层、两个池层和九个模块也叫做《盗梦空间》层,这个网络旨在避免patch-alignment问题引入更多稀疏在初始模块。每个模块由卷积六层和一层池连接这些过滤器不同尺寸和维度成一个新的过滤器。

为了形成特征向量使用pretrained cnn,所有图片使用双立方插值缩放为每个网络所需的大小,在这项工作中,。CNN向量通过线性层的大小GoogleLeNet CNN和的对于其他网络由于其结构特异性。

2.3.3。古典特色

允许CNN特性比较和评价,我们比较的结果,一些先进的特征提取方法的分类结肠息肉(18不久)解释说在接下来的项目。(我)BSAG-LFD。团形状调整梯度使用当地的分形维数方法结合了BA-LFD特性和形状和对比直方图从原始和梯度图像45]。(2)Blob SC。团的形状和对比算法(44)是一种方法,代表了图像的局部纹理结构的分析对比和形状的分段blob。(3)Shearlet-Weibull。使用离散Shearlet变换方法采用回归调查依赖关系在不同的部分波段水平用威布尔分布模型的子带系数分布(53]。(iv)GWT威布尔。伽柏小波变换函数可以扩张和旋转一个字典的过滤器与不同因素(18)和频率使用不同方向作为功能描述符也用威布尔分布。(v)LCVP。在当地的颜色矢量模式方法,纹理算子计算相邻像素之间的相似构造一个向量场从一个图像12]。(vi)MB-LBP。在多尺度块局部二进制模式的方法54),枸杞多糖计算是基于块的平均值亚区完成的。这种方法用于多种图像处理应用程序包括内窥镜息肉检测和分类12]。

经典的特征,分类精度也计算使用SVM分类器,然而,与原图像(没有调整)训练使用leave-one-patient-out交叉验证策略保证没有图像验证集的患者在训练集(55)确保分类器推广到看不见的病人。这种交叉验证应用于特征提取方法从古典文学以及完整的培训和现成的cnn的特性。精度测量是用来允许以一种简单的可比性的结果由于大量的方法和数据库进行比较。

3所示。结果与讨论

3.1。cnn从头训练

在第一个实验中,CNN全面训练,我们首先使用配置类似于(20.表中可以看到)2它可以得出准确的结果并不令人满意(79%)。这可以解释,涉及大量的输入神经网络需要大量的计算在训练中,需要更多的数据,以避免过度拟合(不可用给定的数据集的大小)。

在第二个实验中,hyperparameters在桌上3选择基于工作(48,56)和实证等架构的调整测试改变过滤器的大小和数量以及单位的数量完全连接层和也表所示3。可以看出,建筑CNN-05获得最好的结果,因此,选择执行后续的测试。

在第三个实验中,CNN-05配置,我们训练一个CNN对每个病人从数据库(leave-one-patient-out(洛波)交叉验证)。具体地说,cnn的结果表4验证集的平均值是62种不同的cnn,每个病人,一个实现使用MatConvNet框架(50]。训练后的CNN,在评估阶段,最终决定为256×256像素的图像数据集通过多数投票决定的128×128像素子图象(补丁)。这种方法的优点之一是决策的机会有一组可以获得一个图像的最终决定。同时,重叠的子图象可以增加系统的冗余精度同样给肯定的保证整体的决定。

表中可以看到4泰然自若的,首先,我们测试了1提取的最大数量128×128子图象,总计16384为每个图像子图象,导致89.00%的准确性。这个评估执行的计算非常昂贵,所以我们决定评估不同的进步导致不同数量的子图象显示在表中4。我们还执行随机块提取和它可以得出结论,没有多少区别16384子图象或仅25剪裁子图象(91.00%)的准确性,节省大量的计算时间和实现良好的结果。除此之外,使用相同的程序我们评估架构CNN-05 i-Scan3数据库没有染色的粘膜呈现最好的结果在经典的特性和结果展示在表5。

更好的结果的可比性,我们训练一个SVM提取的向量与过去完全连接层(LFCL)和之前的完全连接层(PFCL) CNN-05转移我们的学习方法在下一节中解释。从25裁剪子图象的尺寸提取的向量是128×128(步幅的32像素)前馈到CNN-05随后用于训练支持向量机使用洛波交叉验证(55]。这种方法的结果使用CNN-05架构培训与i-Scan1 i-Scan3没有染色的粘膜数据库表5。可以看到,使用最后一层纸向量训练SVM并不改善结果,主要是因为不足以产生的数据量代表特性被应用到一个线性分类器。然而,当CNN全面训练,结果超越经典特性结果也可以看出在表5主要是因为最后一层更适合设计非线性超平面分类阶段。然而,数据缺乏的问题仍然是一个问题,利用图像中所有的信息会比使用裁剪补丁。意义对比的方法将在下一节中探索。因此,为了尝试解决这个问题,我们也提出了使用转移学习pretrained cnn也将在下一节中解释。

3.2。Pretrained cnn

在本节中,我们讨论的实验探索古典的11种不同的现成的CNN架构功能要实现更好的结果比CNN从头开始训练。以及在CNN从头开始训练,我们使用i-Scan1没有染色粘膜数据库第一实验。

在第一个实验中,我们测试了使用更多的样本相同的图像使用重叠补丁通过随机裁剪25图像大小为224×224×3每个原始图像的大小为256×256×3(大小使用双立方插值表中给出的测试8从100年到2500年)增加数据库图像。特征提取后的结果由CNN和SVM训练后还使用洛波交叉验证展示在表6。

它可以观察到,在这种情况下,使用更多的样本相同的图像结果并不提供任何明显的改善迹象。调整图像产生的平均精度87.70%,裁剪的图像产生84.87%的平均水平。的一个解释是,在调整图像的情况下,有更多的信息关于息肉提供到网络,所以CNN可以抽象的更多信息,形成一个更健壮的和内在的向量的实际功能损伤。然而,在三个案例(GoogleLeNet、VGG-VD16 AlexNet m cn),结果超过了使用较小的裁剪图像结果使用整个图像。

在第二个实验中,仍然使用i-Scan1没有染色粘膜数据库,我们还测试了使用其他层的cnn提取特征。表7显示的结果中,从过去提取的向量是完全连接层,当之前的向量是完全连接层。在最后一层的情况下,结果更糟(平均87.70%对85.75%),因为从之前的完全连接层向量更相关的高级特性描述自然图像用于培训原始cnn非常不同的特性来描述结肠息肉的图像。然而,在这种情况下,结果从CNN-F AlexNet CNN更好使用上次完全连接层的特性。

基于两个实验的结果解释之前,我们测试的方法与其他数据库使用输入大小尺寸224×224×3×双立方插值和提取从之前的完全连接层的特性。结肠息肉分类的精度结果报告的8种不同的数据库表8。可以看到,结果在表8分为三组:现成的功能,经典特性,以及现成的特性之间的融合和经典特性,将解释如下。

在11 pretrained cnn调查,目前的低性能的cnn GoogleLeNet, CNN-S, AlexNet m cn。这些结果可能表明这种网络本身并不足以被认为是现成的特征提取器的息肉分类任务。

表中可以看到8pretrained CNN,礼物最好的平均结果不同成像模式()与MatConvNet CNN-M网络训练参数(89.74%),其次是CNN VGG-VD16 (88.59%)。这些深模型与小过滤器推广与其他数据集所示(49),包括纹理识别,这可以解释在结肠息肉数据库中更好的结果。然而,有一个高可变性的结果,因此很难得出一般结论。

许多结果从pretrained cnn超越经典的特征提取器对结肠息肉分类的文献。使用现成的特性提供了最好的结果的数据库是数据库染色粘膜没有任何我扫描技术(CVC,平均88.54%)。古典的功能,最好的结果平均的数据库是数据库使用i-Scan3技术没有染色粘膜(81.61%)。

调查结果的差异我们评估他们使用McNemar检验法测试的意义57]。通过这个测试我们分析如果数据库分类不同或类似的图片当比较两个方法。准确性高的方法应该是将有一个非常相似的反应,显著性水平必须足够小,以区分图像分类是正确的或不正确的。

测试是进行数据库i-Scan3和i-Scan1没有染色粘膜使用显著性水平所有的现成的cnn,经典的所有特性,CNN-05架构从头开始训练。结果呈现在图3。它可以观察到黑色的方块(显示显著差异),在pretrained cnn, i-Scan1数据库中的结果不显著不同,在i-Scan3数据库CNN-M m cn和GoogleLeNet最明显不同的结果比较其他cnn。也可以看出CNN-05没有显著不同的结果比较其他cnn i-Scan1数据库和有显著不同的结果与CNN-M m cn和GoogleLeNet i-Scan3数据库。

此外,在图3,当比较经典的特征提取方法和cnn的特性可以看出,有一个完全不同的反应结果中i-Scan3数据库,特别是对于CNN-M m cn这是明显不同于所有经典的方法除了Shearlet-Weibull方法。CNN-05 CNN-05 +支持向量机并没有存在显著不同的结果与经典的特性(除了与LCVP i-Scan1数据库)和pretrained cnn(除了CNN-M和GoogleLeNet i-Scan3数据库)。同样,方法与高精度i-Scan3数据库(BSAG-LFD、VGG-VD16 VGG-VD19)没有发现明显不同。

在i-Scan1数据库中,显著性水平,结果不明显不同(LCVP功能除外)。然而,与显著性水平结果所代表的意义,灰色的方块图3(一个)显示两个数据库提出了不同方法之间的相关性这意味着很难预测一个好的特征提取器,可以同时满足这两个数据库。

观察的方法呈现显著不同的结果在图3并在表,效果很好8我们决定生产特征向量的特征级融合连接特性是否可以互为补充。图中可以看到3这两个最成功的cnn CNN-M m cn和VGG-VD16明显不同数据库和这两个向量的特征级融合提高89.74%和88.59%,结果分别在平均90.58%的精度表中可以看到8(5/8)融合。

在图3 (b)它也可以观察到的结果CNN-M m cn明显不同的经典特性BSAG-LFD i-Scan3数据库。这两个特性的特征级融合精度平均提高91.03%。连接的三个特征向量(CNN-M m cn, VGG-VD16 BSAG-LFD)导致一个更好的精度:93.22%。有趣的是,在这两个数据库的结果CNN-M m cn和VGG-VD16是明显不同的。除此之外,BSAG-LFD结果在数据库i-Scan1 VGG-VD16明显不同。此外,BSAG-LFD结果明显不同CNN-M m cn在数据库i-Scan3这可以解释功能的改善水平这三种方法之间的融合。

使融合与这两个现成的cnn (CNN-M m cn和VGG-VD16)其他古典特征向量也增加了精度表中可以看到8(融合5/8/14和融合5/8/15)。

当我们添加到向量融合5/8/12一个经典特征(MB-LBP)也显著不同CNN-M m cn在数据库i-Scan3同时显著不同数据库i-Scan1 BSAG-LFD,结果优于所有前面的方法:93.55%,表中可以看到8。

在图4我们提出一些示例图像的分类结果中的所有方法McNemar检验法测试协议为每个预测结果越高。以上每个图像显示比例的平均分类率的预测。例如,在数据库和i-Scan3 i-Scan1数据库(数据4(一)和4 (b)),在真阳性框展示的两幅图像分类在所有分类器。然而,从i-Scan3数据库,假阴性的盒子,一个图像有44%的误分类和另一个15%的平均误分类。

比较结果从所有现成的cnn和经典特性与CNN-05从头训练使用数据库i-Scan1和i-Scan3表8它可以观察到完整的培训CNN优于经典的结果特性和一些pretrained CNN。这种方法可以被认为是一个选择自动结肠息肉分类,尽管培训时间和处理复杂性不值得如果比较现成的特性。

4所示。结论

在这项工作中,我们提出探索深度学习和转移学习方法使用卷积神经网络(cnn)提高结肠息肉分类的准确性基于数据库包含大量的带注释的数据往往为这种类型的研究有限。从头开始训练的cnn,我们探索数据与图像增强补丁增加培训数据库的大小,因此执行深度学习的信息。不同的体系结构进行测试评估的影响大小和数量分类以及过滤器的输出单位的数量完全连接层。

我们也探讨和评价不同pretrained cnn架构从结肠镜图像中提取特征通过自然和医学图像之间的知识转移提供所谓的现成的cnn的特性。我们表明,现有书架功能可能适合结肠息肉的自动分类与数量有限的数据。

除了这一事实pretrained cnn与自然图像都是经过训练的,4096年的特性提取CNN-M m cn和VGG-16提供了一个良好的结肠息肉特征描述符。分类的一些成功的原因包括训练和大范围的不同的图像提供了一个强大的器加入图像的内在特性如颜色、纹理和形状相同的架构减少和抽象这些特性在一个向量。同时,经典的组合功能和现成的功能互补收益最好的预测结果。可以得出结论,深度学习使用卷积神经网络是一个很好的选择为结肠息肉的分类和使用pretraining cnn是最好的选择来实现最好的结果是提高了特征级融合古典特色。在未来的工作中,我们计划使用这种策略也直接测试结肠息肉的检测到视频帧和评估性能的实时应用程序以及使用这种策略在其他内窥镜数据库如乳糜泻的自动分类。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这项研究部分由CNPq、巴西、爱德华多·里贝罗在批准号00736/2014-0。