文摘

结直肠癌来源于腺瘤息肉。腺瘤息肉开始是良性的,但随着时间的推移,他们可以成为恶性,甚至导致并发症和死亡将扩散到附着和周围的器官,如淋巴结、肝脏,肺,最终导致并发症和死亡。运营商的经验不足和视觉疲劳等因素会直接影响到诊断结肠镜检查的准确性。医学影像人才来缓解压力,提出了一种网络模型结肠息肉检测使用结肠镜检查图像。考虑到不显明的结肠息肉的表面纹理,本文设计一个通道信息交互感知(CIIP)模块。这个模块的基础上,提出了一个信息交互感知网络(IIP-Net)。为了提高分类的准确性和减少的成本计算,网络使用三种分类器分类:完全连接结构(FC),全球平均完全连接池(GAP-FC)结构,和卷积全球平均池(C-GAP)结构。我们评估的性能IIP-Net通过随机选择结肠镜检查胃镜检查的图片数据库。实验结果表明,IIP-NET54-GAP-FC模块的总体精度为99.59%,和结肠息肉的准确性为99.40%。相比之下,我们的IIP-NET54-GAP-FC表现非常好。

1。介绍

随着快速发展的人工智能(AI)在医疗行业,其强大的计算能力和深度学习能力已经成功地吸引了世界各地的医学专家的注意。作为人工智能的一个重要领域医学图像识别应用,消化内镜已逐步得到了更多的关注。结直肠癌的发病率在世界上排名第三的恶性肿瘤(1),和死亡率排名第二2]。研究表明,可以大大降低患癌症的风险,如果病理在结肠息肉癌变前及时发现和删除。因此,计算机辅助诊断(CAD)结肠镜检查一直是人工智能研究的热点之一。

人工智能技术发展迅速,应用范围的深度卷积神经网络(CNN)正在扩大。cnn在图像分类(取得了巨大的突破3,4],语义分割[5),和超分辨率重建6]。例如,王et al。7]介绍了cnn的应用和发展。受益于图形处理单元的快速发展,计算机辅助检测系统的性能也在进一步加强。基于图像分类算法使用cnn,结肠息肉的诊断效率可以进一步提高。王等人。8)提出了一种改进的深层神经网络检测结肠息肉的图像。DNN-CAD模型由伯恩et al。9)可以几乎实时输出组织学预测结果。Mesejo et al。10)设计和开发一个框架,结合机器学习和计算机视觉算法执行虚拟切片的增生性息肉,锯齿状腺瘤和腺瘤。雷纳et al。(11)使用深度学习结合转移学习DNN-CAD模型训练和验证,实现高精度的速度。Komeda et al。12)设计CNN-CAD系统识别息肉体外的本质,实现高精度的速度。2003年,在白光结肠镜下息肉的实验图像识别、小波变换被用来作为一个图像分类器(第一次13,14]。从那时起,不同的设计理念和创新技术应用于诊断算法。大多数新提出的网络模型使用公共息肉数据库(15- - - - - -18),但在这些数据库图像的类别和数量是不充分的。目前,有三种主要类型的方法提取息肉特点:手工制作的,端到端的学习,和混合方法19]。手工制作的主要是获得息肉的备用边界信息通过使用低级图像处理方法,然后定义独特的边界特征的息肉获得信息。例如,朱et al。20.]分析了检测边界曲率。康和Doraiswami21)寻找椭圆形状与息肉有关。黄等。22主要研究边界曲率和结肠息肉的形状有关。端到端学习方法使用息肉质地和颜色特征提取的信息。例如,总值et al。23)提出了局部二进制模式(LBP)的使用。里贝罗et al。24使用深度学习的方法来检测息肉。混合集成手工和rnd-to-end学习的优点。例如,Tajbakhsh et al。25)集成边界、纹理和颜色信息,进一步提高检测效率。

CNN的训练需要大量的标记数据,但病理图像的数据集非常稀缺。学习和数据传输增强方法可以有效地扩大结肠息肉病理图像的数据规模。结肠息肉的表面纹理信息不明显,而复杂的褶皱在结肠或食物残渣在肠道腔可误诊为结肠息肉。上述因素需要高灵敏度的检测算法。此外,结肠息肉大小不同,它们的位置是广泛分布的。这些因素会破坏的性能模型,并进一步提高训练模型的困难。解决以上问题,本文设计了一个通道信息交互感知模块(CIIP)。这个模块的基础上,提出了一个信息交互感知网络(IIP-Net)三级数据集和验证。在考虑到通道的前提下注意机制,CIIP结合前面的注意特征提取模块与当前关注的特性。操作保证了前馈的方式关注信息流动在各个模块中。 Compared with other models, the proposed network model significantly improves the accuracy of classification and recognition of colonic polyp images.

2。提出了网络

2.1。CIIP模块和IIP-Nets

在CNN,每个卷积层提取的特性是不同的。浅卷积层提取抽象等特性的目标边缘和颜色,和深卷积层提取特定目标轮廓和形状等特性。尽管更深层次的网络可以提取更丰富的特性,将会有信息丢失等问题在特征提取和梯度退化。考虑到结肠息肉的表面纹理信息是不明显,这将导致模型偏差和过度拟合,导致降低性能和泛化。因此,本文设计了一个通道信息交互感知(CIIP)模块。其结构如图1,“Conv1”和“Conv3”代表 和 卷积层,分别。“差距”代表全球平均池层。“俱乐部”代表了线性变换。“LayerNorm”表示层的归一化处理。“Att1”表示的重量值注意通道前面的模块。" Att”表示的重量值关注当前模块的通道。“ReLU”和“乙状结肠”都代表了激活函数。””代表了特征矩阵是补充道。””代表了特征矩阵乘以。“Conv”代表了一种复合结构包括“卷积”,“层正常化,”和“激活功能”。

不同大小的CIIP模块包含卷积核。净,是否存在“Att1”首先来判断,这意味着确定前面的模块反馈的重量值关注渠道。然后,我们选择第一个分支或者第二个分支机构根据判断的结果。第一个分支包括卷积短连接层和一个全球平均池层。第二个分支包括卷积短连接层,全球平均池层,一个完整的连接层,和一个回旋的层。卷积的短连接层的功能模块是增加网络的深度,同时减少信息损失。卷积特性由前卷积模块输入输出映射到卷积短连接层地图生成功能X,在那里 。第一个“Conv1”是用来降低维数,第二个“Conv1”是用来增加维度。这个操作的主要目的是为了节省计算时间和提高网络的非线性学习能力,在不影响最终的模型精度。

第一CIIP模块,根据判断的结果,前面的模块没有获得关注频道”Att1的重量值。“功能映射通过第一个分支。首先,卷积特性由前卷积模块输入输出映射到的卷积短连接层CIIP模块获取特征映射X。其次,功能映射X是输入层的差距。然后,通过乙状结肠结果池功能被激活。最后,“输出”是由两部分组成:(1)卷积短连接层的输出和注意力地图乘以比特,可以表示为获得和输出特性 (2)通过缺口层特征提取和注意力地图乘以位,和关注频道重量值可以表示为

第二和第三CIIP模块,根据判断的结果,前面的模块的正向反馈取得关注频道“Att1重量值。“功能映射通过第二个分支。首先,地图的功能X卷积生成的短连接层,通过间隔层获得池功能。关注频道重量值“Att1”获得的反馈之前的模块,通过FC层(其次是“LayerNorm”和“ReLU”)来匹配通道的大小。池功能,整合全球空间信息和注意通道重量值通过通道自适应匹配缝位得到卷积特性。然后,通过“conv”和“乙状结肠。”最后,“输出”是由两部分组成:(1)卷积短连接层的输出和注意力地图乘以比特,可以表示为获得和输出特性 (2)通过缺口层特征提取和注意力地图乘以位,和关注频道重量值可以表示为 ,““代表”FC“线性变换,LN”意味着“LayerNorm“层”归一化处理,”代表“ReLU“激活功能,””代表“乙状结肠”激活函数。

这样,前面的模块功能和当前提取功能合并。操作可以确保每个模块之间的信息流动在一个前馈方式,我们加强网络的特征提取能力。这是显示在图2。

CIIP模块的基础上,提出了一种卷积神经网络结构三个深度:信息交互感知网络(IIP-Net) 54岁IIP-Net105, IIP-Net156。由于选择不同的分支,CIIP结构的层数也不同。第一个CIIP结构三层,第二个和第三个CIIP结构有五层。“Conv”表示为复合结构包括“卷积”,“批正常化,”和“激活函数。“网络结构如表所示1。

图像分类和图像分类问题,经典的网络的分类器AlexNet和VGGNets等都是三层完全连接层。三层完全连接层有大量的参数,这就增加了计算时间和成本。此外,这些网络容易过度拟合,导致较低的泛化能力。因此,单层完全连接层“俱乐部”作为分类器。这是显示在图3(一个)。

本文介绍了全球平均池(GAP)林等人提出的方法。26]。不同于传统的完整的连接层,缺口层可以接受任何大小的图像。首先,对所有像素的平均值计算每个通道的输出特性图。然后,平均值是全球平均池输入层,得到一维的特征向量,最后将softmax特征向量直接输入层。通过这种方式,一方面,可以减少参数的数量,防止过度拟合,另一方面,它集成了全球空间信息,达到更好的鲁棒性。介绍了一种“GAP-FC”结构,由差距,FC。首先,最后卷积层地图的输出特性是减少 通过缺口,然后,我们将通过一个完整的连接层。操作大大减少了网络参数的数量。GAP-FC结构如图3 (b)。

差距实际上计算所有像素的平均值为每个特性映射和输出数据值。因此,本文介绍了“C-GAP”结构,由点卷积和差距。首先,一个 卷积层是用来降低输出特征的维数,然后,通过间隔层,最后,Softmax功能连接的分类。通过这种方式,分类器不包括一个完全连接层,进一步减少了参数的数量。与“C-GAP”模块相比,“GAP-FC”模块有一个更大数量的参数,但其计算量小于“C-GAP”模块。“C-GAP”的结构如图3 (c)。

2.2。网络的复杂性

当使用不同的分类和不同深度的网络识别结肠息肉图像,参数的个数和计算是不同的。采取三级分类任务作为一个例子,我们假设的大小输出特性的最后一层网络地图 。当使用“俱乐部”作为分类器,分类器的参数的数量 。当使用“GAP-FC”作为分类器,分类器的参数的数量 。当使用“C-GAP”作为分类器,分类器的参数的数量 。

IIP-Net不同深度的参数的数量和不同的分类器如图4的计算,不同的网络图所示5。

从图可以看出4,不同的分类器将导致网络参数的数量上的巨大差异。当IIP-Net的深度是一样的,网络参数使用“俱乐部”作为分类器大约1000万超过网络参数使用其他分类器。因此,在相同的实验环境和计算内存有限,确保精度时,使用“俱乐部”作为分类器应该尽可能避免。此外,参数的个数IIP-NET156-FC IIP-NET105-FC的1.04倍,和参数的数量IIP-NET105-FC IIP-NET54-FC的1.06倍。可以看出,当使用相同的分类器,网络深度也有很大的影响对网络参数的数量。

从图可以看出5网络深度的主要因素影响的计算量。的计算量IIP-Net156-FC IIP-Net105-FC的1.46倍。的计算量IIP-Net105-FC IIP-Net54-FC的1.86倍。的计算量IIP-Net156-FC IIP-Net54-FC的2.72倍。与网络深度的增加,计算量急剧增加。因此,在相同的实验环境中,性价比最高的IIP-Net105模型当模型准确性差距并不大。

总之,通过比较网络的参数和数量计算相结合三种不同的分类器,它可以发现参数的数量使用“GAP-FC”和“C-GAP”大约是1000万不到参数的数量使用“俱乐部”,并使用“GAP-FC”计算的数量大约是2亿不到的数量计算使用“GAP-FC”和“FC。”因此,在保证精度的前提下,“GAP-FC”是最优分类器。

3所示。实验结果

3.1。预处理和数据集

目前,数据集的数量与结肠息肉和照片中包含这些数据集的数量都很小。因此,我们实验室随机选择结肠镜检查由奥林巴斯PCF-H290DI拍摄的图像设备从胃肠道内窥镜检查数据库。标签之前,图像裁剪去除白色边界周围,和图像的大小是统一到256256年。相关医生检查后图像,然后我们标记;数据集Dataset-A包含22809张图片。数据集包括4002结肠息肉图片,14801正常的图像,和4006其他病变如结肠炎的图像。

在训练集训练实验,包括3002随机选择从4002年结肠息肉的图像,图像11001张图片随机选择从14801年正常的图像,和3006年从4006年其他病变图像图像随机选择。火车模型的参数通过多个实验。然后,其余1000息肉图片,3800正常的图像,和1000其他病变图像形成一个测试集验证模型的性能。在非息肉病性数据集,不仅没有病变结肠的照片,而且照片的结肠病变除了息肉,腺瘤、炎性息肉等。对于大多数息肉图片,息肉不完全出现在视野;一些息肉甚至只出现在照片的角落。除了光的影响,拍摄角度,等等,这些增加了识别困难。因此,我们扩展了训练集和测试集的图像,包括随机水平翻转,随机垂直翻转,随机旋转一定角度+ 90°和90°−之间,亮度,对比度的变化。这些操作的数据量大大增加。事实上,参与实验的图像样本总数是原始数据的5倍,达到114045。 Data enhancement not only increases the number of samples but also enhances the generalization ability of the model.

为了进一步验证CIIP-Net的泛化性能,基于Dataset-A三类,Dataset-B four-category数据集包含10660张图片。四类结肠息肉、溃疡性结肠炎、正常的,和其他病变。训练集由9693张图片,其中包括2000结肠息肉图片,693溃疡性结肠炎图片,5000正常的图像,和2000其他病变的图像。测试组由967张图片,其中包括200结肠息肉图片,70溃疡性结肠炎图片,500正常的图像,和197其他病变的图像。植被生长人类粘膜表面通常称为息肉,所以可以看到明显的突起在结肠息肉的照片。溃疡性结肠炎是指溃疡性肠粘膜损伤,所以不均溃疡溃疡性结肠炎的照片中可以看到。其他病变包括特定慢性结肠炎和阿米巴肠道疾病。不同的病理图片有不同的特点。在图所示的图像6。

3.2。实验设置

本文的实验是在相同的平台上进行的可信度和环境,以确保不同网络模型之间的比较。进行的实验是在Windows上10与英特尔i7 3.30 GHz CPU、GeForce GTX 1080 ti (11 g) GPU, CUDNN 10.0, CUDA 10.0, CUDA 10.0。Pytorch框架。PyCharm开发工具。语言是Python。“BatchSize”训练集和测试集都设置为32。学习速率是0.001。重量衰减是5E−4。动量是0.9。培训期间是100时代。

3.3。评估标准

根据评估标准采用最广泛的医学图像分类模型,本文使用精度,精度,回忆,F1-measure,特异性为性能指标。

息肉样是设置为阳性样品,其余设置为负样本。负样本包括正常样本和非息肉病性样品。TP是指数量的像素属于息肉和正确地分类。FP是指数量的像素属于非息肉病性但错误归类为息肉。FN属于息肉是指像素的数量但错误归类为非息肉病性。TN是指像素属于非息肉病性的数量和正确归类为息肉。评价参数

混淆矩阵如表所示2。

3.4。实验结果

为了研究的影响深度和对结肠息肉IIP-NET图像分类的分类器性能,9种IIP-NET结肠息肉实验数据集进行了分类和三个类别。实验结果如表所示3。最优实验结果是粗体。

根据表3,模型使用GAP-FC作为分类器的性能显然是更好的。IIP-NET54-GAP-FC的总体性能是最好的,和它的精度,精度,记得,F测量和特异性都是表中的值最高,99.59%,99.40%,99.40%,99.70%,和99.40%,结肠息肉的分别,但其分类精度略低。结肠息肉的准确性IIP-Net105-GAP-FC和IIP-Net158-GAP-FC是一样的99.50%,和整体精度也是一样的99.55%。与IIP-Net54-GAP-FC相比,尽管IIP-Net105-GAP-FC的整体精度和IIP-Net158-GAP-FC较低,差距非常小。这一现象表明,随着网络的深化,网络性能并没有明显变化。的计算量IIP-Net156 IIP-Net105的1.06倍和1.15倍IIP-Net54。参数数量的IIP-Net156 IIP-Net105的1.47倍和2.81倍IIP-Net54。经过综合考虑,t IIP-NET54-GAP-FC选为推荐的模型。的三个分类混淆矩阵IIP-Net54-GAP-FC图所示7。表4提供更详细的结果在三个类别IIP-Net54-GAP-FC的识别性能。

根据表4IIP-Net50-GAP-FC具有良好的分类性能,息肉的图像结肠息肉阳性患者,正常的患者,和其他结肠疾病的病人。特别是,分类精度、召回和结肠息肉的特异性高达99%。

我们进一步比较的实验结果与传统cnn IIP-Net54-GAP-FC ResNet50, VGG16 DenseNet121, GoogLeNet。实验结果如表所示5和最优实验结果以粗体显示。

ResNet50解决网络问题的恶化和梯度爆炸与深化网络深度利用跳过连接,但准确率最低的对比实验中,只有97.07%。VGG16的准确率是2.5%低于IIP-Net54-GAP-FC由于其浅网络深度和图像特征提取不足,导致图像分类精度较低。此外,VGG16使用三层完全连接层作为一个分类器,和的参数和计算量非常大,这大大增加了计算时间和成本。DenseNet121实现重用的特性通过引入致密连接和进一步深化网络深度。尽管DenseNet121达到良好的分类精度结肠息肉的图像,其准确性仍低于IIP-Net54-GAP-FC。DenseNet121还使用了一个三层完全连接层作为一个分类器,使得计算量和参数显著增加。结肠息肉数据集GoogLeNet达到很好的精度,但其性能指标都低于IIP-Net54-GAP-FC。CIIP模块可以合并之前的模块功能与当前提取功能,进一步提高了模块的学习能力。

我们进一步比较IIP-Net50-GAP-FC和棕褐色等提出的方法。31日),汉族et al。32王),et al。9)等。这些方法在结肠息肉分类实验中取得了较好的精度。结果如表所示6。最优实验结果是粗体。

GhostNet取得了良好的精度在结肠镜检查图像数据集,但其性能指标都低于IIP-Net54-GAP-FC。尽管VGG19-GAP的总体准确率高达98.93%,其准确性结肠息肉是只有87.90%,所以这个网络的临床效用不强。其他方法的总体精度通常是低于IIP-Net54-GAP-FC。根据表6,整体精度和结肠息肉分类的准确性提出IIP-Net已经达到一个非常高的水平,这表明IIP-Net54-GAP-FC性能更好、更有针对性的为结肠息肉图像分类任务。

我们使用IIP-Net54-GAP-FC模型进行分类实验Dataset-B四类,使分类和识别任务的难度,进一步验证模型的泛化能力在结肠镜检查图像分类和识别任务。“BatchSize”训练集和测试集都设置为16。学习速率是0.001。重量衰减是5e−4。动量是0.9。培训期间是200时代。图8显示了四类IIP-Net54-GAP-FC混淆矩阵。表7提供更详细的结果为四类IIP-Net54-GAP-FC的识别性能。

根据表7IIP-Net54-GAP-FC具有良好的分类性能在结肠镜检查结肠息肉患者积极的形象,溃疡性结肠炎患者,正常的患者,和其他结肠疾病的病人。特别是,分类精度、召回和结肠息肉的特异性高达100%。

我们进一步比较IIP-Net50-GAP-FC和棕褐色等提出的方法。31日),汉族et al。32王),et al。9)等。结果如表所示8。最优实验结果以粗体显示。

根据表8在结肠息肉的四类实验,其他方法的总体精度已达到90%以上,但结肠息肉的准确性较低。尽管VGG19-GAP的总体精度高达95.35%,其准确性为结肠息肉仅为88.32%,低于IIP-Net54-GAP-FC 11.68%。总之,该IIP-Net54-GAP-FC更好,并具有优良的性能在结肠息肉的影像分类实验。

3.5。实验的分析

根据实验结果,在结肠镜检查的三类实验图像,IIP-Net54-GAP-FC整体识别精度最高(99.59%)。尽管结肠息肉的分类精度略高(99.40%),这是与IIP-Net105-GAP-FC;IIP-Net158-GAP-FC只有0.1%,不同参数的数量和计算网络分类器是降低。为了进一步评估模型的泛化能力,IIP-Net54-GAP-FC four-category数据集上进行了实验。上述实验结果与其他方法相比,结肠息肉的整体精度和分类精度分别为96.59%和100%,分别。总体性能优于其他方法。

通过实验分析,可以看出,在结肠镜检查图像分类任务,网络深度应该保持温和。如果网络太浅,很难完全提取特征。尽管深化网络可以使模型具有更好的非线性表达能力,深层网络将导致网络梯度不稳定和退化等问题。批标准化可以有效地解决不稳定问题,如梯度色散和爆炸。卷积的短连接层可以有效地解决网络问题的恶化。差距到分类器的引入可以有效地减少网络参数和计算。结肠息肉的表面纹理信息不明显;它将导致模型偏差和过度拟合,导致降低性能和泛化。因此,本文设计了一种CIIP模块包括两个分支。生成模块,前面的模块是否关注频道重量值是首先来判断,然后根据判断的结果选择不同的分支。 The first branch contains Conv1, Conv3, and GAP structures. The second branch contains Conv1, Conv3, GAP, and FC structures. Conv1 is used to control the dimension and reduce the number of parameters. Short connections are used to prevent information loss, increase network depth, and solve the problem of network degradation to a certain extent. The input feature map is input to the CIIP module. Because the module can merge the previous module features with the current extracted features, it ensures the information flow in the feedforward way among the modules and enhances the feature extraction ability of the network.

4所示。结论

本文设计了一种CIIP模块根据结肠息肉图像的特点,并提出了一个IIP-Net对结肠图像进行分类。结肠镜检查图像选择注释两个结肠息肉图像数据集:数据集three-category Dataset-A和Dataset-B four-category数据集。分析和比较实验结果,IIP-Net54-GAP-FC应用价值最高。的整体精度three-category实验和结肠息肉分类精度达到99.59%和99.40%,分别。的整体精度four-category实验和结肠息肉分类精度达到96.59%和100%,分别。IIP-Net具有极高的精度和召回结肠息肉病例和可以有效地帮助医学影像医生发现结肠息肉病例。尽管好的结果,IIP-Net仍然需要临床研究和测试。此外,结肠镜检查图像数据的采集和处理过程是非常困难的。不仅儿童结肠息肉的图像数据,而且更多的结肠息肉可以获得不同年龄的图像数据。通过这些增强的图像数据,CIIP-net可以进一步改善的准确性。

数据可用性

获得的数据集可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由湖南省自然科学基金资助,中国(2019 jj80105),长沙科技项目(kq2004071),湖南省研究生创新项目(CX20200882)。