文摘

肺结节是肺癌的早期症状。越早发现,越有益的治疗。然而,在实践中,中国医生很可能导致误诊。因此,深度学习,介绍了一种改进的目标探测网络,和公共数据集用于诊断和鉴别肺结节。本文选择Mask-RCNN网络和使用Densenet的致密块结构和通道洗牌卷积方法改善Mask-RCNN网络。实验结果证明算法是非常有效的。

1。介绍

肺结节(1,2)之间的竞争的结果未知抗原和人体的细胞和体液免疫功能。这对人体是非常有害的。它是肺癌的早期表现3]。它通常出现在医学成像一个圆。形或圆形,肺组织是复杂的,很难区分肺结节在胸部血管和支气管组织非常准确地根据临床医生的经验和电影的读者。血管粘连型和胸膜下型肺癌筛查中更加困难。

近年来,随着计算机视觉的发展(4,5),人工智能,机器学习的应用在医学图像检测(6,7)也增加,其中肺结节检测中使用机器学习的目标探测网络深度学习(8,9)能够准确地找到感兴趣的区域的位置,并返回其类别。常见的是R-CNN [10)系列、SSD和YOLO[意思11)系列,其中主要包括R-CNN R-CNN系列、快速R-CNN [12,13],R-CNN更快,面具R-CNN [14,15]。R-CNN一系列目标探测网络的优点是检测精度很高,但缺点是检测时间长。后来有人知道由罗系列SSD和网络检测速度快,但精度低;YOLO-V3网络的准确性(16,17)都得到很大的提高。全面的检测速度和检测精度,YOLO-V3网络经常使用。

摘要YOLO-V3目标探测网络选择深度学习和网络的改进。参考网络YOLO-V3网络被替换为SEnet网络(18,19],肺结核和LIDC-IDRI公共数据集[20.是作为网络的训练数据集。经过训练的网络超过其他目标探测模型和未被利用的YOLO-V3网络在很多表演。

剩下的纸是组织如下。节2介绍R-CNN网络。节3给出一个例子,证明了我们的方法的有效性。节4,给出了结论和未来的发展方向。

2。网络改进

本文选择了面具R-CNN网络,准确率更高领域的医学成像在许多模型。以下介绍了面具R-CNN网络和其具体的改进方法。

2.1。介绍了数据集

本文选择LIDC-IDRI公众结核病数据集作为网络的训练集。胸部医学图像文件的数据集是由(如CT和x射线胶片)和相应的诊断结果病变标签。收集的数据是美国国家癌症研究所(国家癌症研究所)为了研究高危人群的早期癌症检测。这个数据集包含一个1018研究的例子。胸的图像在每个例子中,四个有经验的放射科医师进行了两级诊断和注释。在第一阶段中,每个医生独立诊断和病人的位置。三类是:(1)≥3毫米结节,(2)< 3毫米结节,(3)nonnodules≥3毫米。在随后的第二阶段,每个医生独立审查的标签,其他三个医生,给他们最后的诊断结果。这样的二级标签可以标签所有结果尽可能完全的同时避免强迫共识。Dicom格式的图像文件,这是医学图像的标准格式。 In addition to image pixels, there are some auxiliary metadata such as image type, image time, and other information. A CT image has 512 × 512 pixels. Figure1是两个随机选择的CT图像。

(一)
(一)
(b)
(b)
图1
的照片LIDC-IDRI数据集。
2.2。面具R-CNN网络

医学图像的检测更关注模型的性能。当速度可以满足需求,网络具有更高的检测精度应尽量选择。面具R-CNN网络是一个高度精确的网络,及其具体结构如图2。


图2
面具R-CNN网络结构。

其中,CNN表示基准的面具R-CNN网络,网络的RPN代表建议窗口网络的生成,ROIAlign代表使用双线性插值获得地区特性相应的映射到原始图像ROI,保留了坐标之间的对应关系,面具分支代表FCN互联网。

从网络结构可以看出,面具R-CNN网络最终输出结果通过两个分支,第一个分支输出背景和对象分割的结果,第二个分支输出分类和协调的结果。然而,面具的基准网络R-CNN网络剩余网络,而且它并不是最好的。

2.3。改善面具R-CNN网络

残余网络Densenet网络是一种进步,这是一种卷积神经网络密集连接。在这个网络中,任意两个层之间有着直接的联系,也就是说,每一层的输入输出的网络联盟之前所有层,和特征映射学习这一层也会直接传递到所有后续层作为输入。图3是一个示意图Densenet密集的街区。一块的结构如下,这是一样的残余的瓶颈。


图3
原理图在Densenet密集的街区。

Densenet网络是由密集的街区,及其具体结构如图4。


图4
Densenet结构的示意图。

本文选择Densenet网络的参考网络面具R-CNN网络,但卷积方法Densenet网络将造成很大的浪费,和运行本文中的实验3 gpu,使用分组卷积方法,包体积。很难意识到产品的群体之间的信息交换。同时,卷积方法Densenet网络也将导致大量的参数。因此,本文使用通道洗牌卷积方法减少Densenet网络参数,同时解决组卷。有很多产品缺陷的方法。

卷积方法在信道洗牌卷积不一样的卷积Densenet网络。Densenet网络的卷积,卷积的一组内核负责一组特征图,在英吉利海峡洗牌卷积,卷积内核负责一个功能图,这可以极大地减少参数的数量,但这将导致同一组数据之间的信息丢失。noncommunication洗牌操作可以解决问题的信息集团和集团的洗牌操作可以解决问题和组卷积。的缺陷,不组织之间的信息交流。图5是通道洗牌的示意图,输入代表输入,GConv代表一个分组卷积层,功能代表了特征映射,输出是输出。

(一)
(一)
(b)
(b)
(c)
(c)
图5
原理图的通道洗牌。(一)分组卷积。(b)应用洗牌。(c)洗牌效应。

图5(一个)表示一个分组卷积,三种颜色表示三组。可以看出,每组之间没有信息交换的分组卷积,和图5 (b)洗牌过程的应用,可以看出,有一个以交换信息。图5 (c)洗牌后应用,可以看出,还有其他组每组之间的信息。

改变卷积模式Densenet网络通道洗牌卷积得到一种改进的网络D-ShuffleNet网络模式。摘要D-ShuffleNet网络用作参考网络的面具R-CNN网络获取Per-T面具R-CNN-II网络。

验证本文的改进是正确的,四组的网络用于验证在同一小数据集。这四个网络Pre-T +面具R-CNN-II改善通过添加D-ShuffleNet网络。Pre +面具R-CNN-II Densenet网络,改进的面具R-CNN-II和面具R-CNN网络,只有使用通道洗牌卷积方法;结果如图所示6。


图6
原理图的四个网络的结果。
2.4。网络培训策略
2.4.1。激活函数

常见的激活功能包括乙状结肠,双曲正切,Relu。乙状结肠函数公式如下: 在这x代表输入和代表输出。输出从公式(1)是 ,这不是一个0-centralized distraibution。在反向传播,它是完全积极的,所以会导致重量参数更新。更新后的值是完全完全正面或负面的。当梯度是在第二或第四象限,很难找到最优梯度。同时,由于梯度接近0,当输出值的绝对值大,梯度消失会引起的问题,和乙状结肠函数将不考虑。

方程(2)是双曲正切函数,这是比乙状结肠功能:

从这个公式可以得出,双曲正切函数的输出范围 ,解决问题,乙状结肠函数不能与0集中分布,但它仍然没有解决梯度消失的问题。

方程(3)是Relu函数,解决问题

它可以得出结论,当输入大于0,梯度永远是1,也解决了梯度消失的问题。然而,一些参数与输入小于0都死了,和输出是0。

为了解决Relu函数的缺点,随后作出的改进。LReLU、PReLU RReLU, ELU先后出现。这四个函数的核心思想是使输出不为0时,输出小于0,然后解决参数小于0。死亡问题,本文使用ELU传递函数:

2.4.2。学习速率

的初始值学习速率通常设置为0.01,它应该根据实际情况决定。通常的做法是将其设置为0.01,然后开始迭代大约10时代,一般检查精度的损失函数和变换趋势,如果可以减少损失以及提高准确率;这意味着最初的学习速率通常是合适的。我们可以尝试几次,选择一个好的初始学习速率。

最常见的学习方法是学习方法。学习速率减到原来的十分之一每天一定的步长,通常满足大量的需求在早期阶段的培训学习速率和一个小学习速率的后期培训。随着梯度达到高原,培训损失将更加难以改善。鞍点是点函数的导数为零但不是一个地方极值在轴上。减少损失的困难来自于鞍点,而不是局部最小值。如果培训不完善损失,我们可以改变每次迭代的学习速率根据一些周期函数。

本文选择热重启(热重启)提出的Loshchilov并相应地Hutter并改善它。这个方法使用一个余弦函数周期函数和重启的学习速率的最大值。本文的改进是每个确定的步长改变学习速率,这样学习速率降低cos的方式的变化。这种改进的后期有更好的应用培训。

2.4.3。损失函数和正则化

损失函数通常包括均方误差、最大似然错误,最大后验概率,叉损失函数,熵函数和均方误差是一个早期的损失函数定义方法,测量相应的维度的两个分布差异的总和,最大似然误差从概率的角度来看,模型参数θ可以完全适应训练的例子是解决,这样的概率p( ,θ)是最大化后验概率最大化,也就是说,最大的概率p( ,y)实际上是相当于最大似然概率的正则化项。它认为先验信息和防止“过度拟合”通过约束损失函数参数值的大小和叉测量两个分布的相似性p和问。

本文选择一个相对好的叉损失函数;公式(5)是叉损失函数公式: 在这, 预期的输出和吗 是实际的神经元的输出。

本文中添加正则化,防止过度拟合。常见的合法化包括L1正则化条件和L2正则化项。摘要L2正则化项被选中。方程(6)是目标函数由添加L2正则化项,即体重衰减,并设置为0.9:

2.4.4。优化器

RMSprop常见的优化包括SGD、动量,涅斯捷罗夫,和亚当。其中,SGD是最早的优化方法,但SGD容易收敛于局部最优,在某些情况下可能会被困在鞍点。动量可以确定相关的方向,加速SGD,抑制振荡,并加速收敛,但不能提高灵敏度自适应。Nesterov RMSprop也有一定的缺点。现在最好的优化方法是亚当的优化方法。本文选择了亚当优化方法。

亚当是RMSprop动量词,它使用一阶矩估计和梯度的二阶矩估计每个参数的动态调整学习速率。亚当的主要优势是,偏差纠正后,每次迭代的学习速率有一定的范围,使参数更稳定。

本文选择了亚当优化器,它使用一阶矩估计和梯度的二阶矩估计每个参数的动态调整学习速率。亚当的主要优势是,偏差纠正后,每次迭代的学习速率有一定的范围,使参数相对稳定。更新公式如下:

3所示。实验结果

实践是使用Pytorch框架;培训使用的亚当优化和选择ELU函数激活函数。卷积方法Densenet网络改变通道洗牌卷积方法,并改进网络D-ShuffleNet。

本文进行了7组比较实验,即Pre-T +面具R-CNN-II改善通过添加D-ShuffleNet网络和Pre +面具只有Densenet R-CNN-II改进网络,只使用通道洗牌卷积R-CNN-II面具,面具R-CNN网络,YOLO-V3网络,快速R-CNN网络,和SSD网络,它使用相同的数据集进行训练。培训后,7组实验的实验结果。摘要地图和ROC曲线作为评估标准来分析和评估网络的结果。美联社在地图上指每个类的P-R曲线的面积,地图是所有APs的平均值,P P-R曲线指的是精度,精度,R指召回,召回率。上面的概念可以从混淆矩阵的概念。混淆矩阵表的分类结果如表所示1。

表1
混淆矩阵的分类结果。

召回率和准确率的公式方程所示(8)和(9):

表2显示了特定的值的七组训练后的模型,包括美联社值和映射每个类别的价值。

表2
每个模型的结果。

地图大小的顺序表2Pre-T +面具R-CNN-II Pre + R-CNN-II面具,面具R-CNN-II面具R-CNN YOLO-V3 R-CNN更快,SSD。

从表可以看出2的训练效果Pre-T +面具R-CNN-II模型是最好的,这表明网络提出了适用于肺结节检测目标。

关于模型评估标准,除了最常用的,常常需要通过ROC曲线评价模型。中华民国空间定义了假阳性率(假阳性率,玻璃钢)X设在,真阳性率(真阳性)率、TPR)的定义Y设在。这两个值计算的四值表1。

TPR,在所有样本实际上是积极的、正确的比例判断积极

为玻璃钢,实际上是负面的例子,在所有样本的比例错误地判断正面例子

ROC曲线可以反映模型的性能,及其面积AUC。AUC值越大,模型的性能越好。图7是中华民国曲线。


图7
ROC曲线。

的面积计算后,Pre-T +面具R-CNN-II Pre + R-CNN-II面具,面具R-CNN-II面具R-CNN YOLO-V3, R-CNN更快,SSD是0.942,0.935,0.916,0.902,0.893,0.882,和0.877,这是一致的映射结果的评价体系。

4所示。结论

本文提出了一种新的网络D-ShuffleNet网络,通过结合Densenet网络和渠道洗牌卷积方法,然后提出了一种新的目标探测网络。通过过去的七组对比实验,证明本文提出的网络具有更好的性能比其他网络。都不错,但网络仍有改进的余地。下一步是改善网络性能,提高识别精度。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由山东大学的实验室设施园艺项目号。2019 yy003 2018 rc002 2018 yy016 2018 yy043,和2018年yy044;山东省软科学研究项目与项目没有。2019 rka07012;在寿光应用技术研究与发展计划项目。2018 jh12;2018年科技创新基金发展中心中国教育部的项目没有。2018 a02013;2019基本能力建设项目的私人学院和大学在山东;和潍坊科技发展计划项目。2019年gx081和2019 gx082。