文摘

检测技术的快速发展,CT成像技术已广泛应用于临床诊断早期肺癌结节。然而,准确评估结节的性质仍然是一个挑战性的任务由于放射科医生的主观性质。与越来越多的公开肺图像数据,它已成为可以使用卷积神经网络为良性和恶性肺结节的分类。然而,随着网络深度的增加,网络训练方法通常基于梯度下降导致梯度扩散。因此,我们提出一种新颖的深卷积网络分类方法的仁慈和恶性肿瘤肺结节。首先,我们分割、提取和零相位进行成分分析美白在肺结节图像上。这时,一个多层感知器引入构造深度卷积网络结构。最后,minibatch随机梯度下降法与动量系数用于调整深卷积网络避免梯度扩散。750年在肺的肺结节图像数据库用于实验验证。该方法的分类精度可以达到96.0%。 The experimental results show that the proposed method can provide an objective and efficient aid to solve the problem of classifying benign and malignant lung nodules in medical images.

1。介绍

肺癌是世界上最常见的一种癌症。与其他癌症相比,没有明显的症状在早期阶段。早期发现肺癌结节状的形式、筛选、分类、和医疗管理已被证明是非常有用的和有效的在降低肺癌的死亡率1]。因此,如何有效地诊断肺结节已成为一个主要关心的话题。的检测和诊断肺结节可以通过成像程序,如CT成像(2),磁共振成像(3)等。疑似肺结节的诊断仍困难由于人类主体性,疲劳,和其他限制与CT图像。在某些情况下,放射科医生可能无法识别一些结节直径< 3毫米(4]。因此,重要的是要研究的方法分类良性和恶性肺结节计算机辅助诊断(CAD)系统中肺癌的早期发现和诊断。

目前,良性和恶性结节的分类在CAD系统主要是由提取肺结节的CT图像的底层特征,如形状、位置,质地,和密度,通过机器学习方法5]。此外,这种基于底层特征分类方法取得了良好的效果在改善肺结节诊断的准确性,减少医生的劳动强度。然而,真正的结节形状、大小和纹理特征是高度可变的。和底层特征的提取通常是基于手工设计,因此未能充分描述这些真正的结节,导致较低的整体检测结果正确(6]。因此,如何对CT图像进行自动特征提取与选择的肺结节的研究已成为一个热点话题。

近年来,随着深度学习的快速发展,许多研究也表明卷积神经网络(CNN)可以很好地应用到医学图像领域的(7- - - - - -10]。这主要是因为CNN,作为端到端网络体系结构,可以自动从输入图像中提取特征。在肺结节的分类,常用的有线电视新闻网CNN模型是二维(2 d-cnn)和三维CNN (3 d-cnn)。沈et al。11)提出了一种分层学习框架多尺度CNN (MCNN)肺结节提取歧视性的特性分类的交替堆叠层捕获的异质性肺结节。这个网络不仅提高了分类精度,而且具有较强的鲁棒性的输入。值得注意的是,网络体系结构的MCNN由交替成堆的卷积和max-pooling层、和需要很长时间来提取特征。因此,Tran et al。12)提出了一种新的深度学习方法提高CT的肺结节的分类精度。中心思想如下:首先,小说15-layer 2 d-cnn体系结构构造自动提取肺结节结节或non-nodules特性和分类。然后,焦损失函数是用于网络培训来提高模型的分类精度。然而,随着网络深度的增加,网络训练可能会出现问题,如过度拟合(13和梯度消失14]。网络背后的信息不能很好地反馈由于深层网络深度,导致网络性能下降。因此,剩余网络解决了梯度分散由于网络深化通过生成残块适合最初的功能(15]。在此基础上研究,Nibali et al。16)达到89.9%的准确率LIDC在肺结节的分类数据集通过构建一个完全卷积残余神经网络,它不仅充分利用肺结节的浅层和深层特征图像,而且还减少了参数的数量。亚伯拉罕et al。17]使用三个2 d-cnn (AlexNet、VGG16 SilNet)对肺结节进行分类,设计了一个新的网络模型根据获得的推理结果,消除现有网络的缺陷为肺癌的早期预测。通过以上研究,发现2 d-cnn网络网络的优势低复杂度和快速计算,但它忽略了一些空间信息。这主要是由于CT扫描3 d图像,大多数现有CNN-based方法使用一个2 d模型,不能捕获片之间的空间信息。窦等。18)提出了一种3 d-cnn肺结节自动检测的假阳性CT扫描。实验结果表明,与2 d-cnn相比,3 d-cnn可以更丰富的空间信息编码和提取更多的代表特性通过分层架构与3 d样本训练。与此同时,傅et al。19)开发了一个计算机辅助肺结节检测系统使用三维深度CNN充分利用三维空间信息。该系统主要包括两个阶段:肺结节检测阶段和分类阶段。特别是在检测阶段,使用一个3 d完全CNN 11-layer首次屏幕所有肺结节。实验结果证明的有效性使用3 d深cnn对肺结节检测。赵et al。20.)相结合的多尺度特性与多属性分类融合,构建一个新的3 d-cnn模型,提出了一种新的损失函数来平衡不同属性之间的关系,实现LIDC的数据集的分类精度93.92%。高和聂21)提出了一种方法来区分良性和恶性肺结节结合深CNN成像特性。中心思想如下:首先,部分肺结节区域从结节的CT图像和提取图像特征区域使用传统的机器学习方法。然后,使用拦截火车3 d-inception-resnet模型肺结节,提取CNN网络学习的特点,结合这两种类型的功能,并使用随机森林(RF)模型进行特征选择。最后,一个支持向量机(SVM)是用于benign-malignant肺结节的鉴别诊断。Zhang et al。22)提出了一种三维密集网络体系结构紧密连接卷积的利用,鼓励功能重用和减轻梯度消失的问题。结果表明,该模型取得了良好的分类性能的恶性疑心肺部结节和分类精度达到92.4%。通过以上研究和分析,可以知道3 d-cnn更好的分类效果由于特征信息的提取,但它需要大量的数据,需要很长时间来计算23]。然而,当医学图像数据集的数量很小,从头训练3 d-cnn模型将导致可怜的分类结果。此外,深CNN的训练算法通常采用基于梯度下降一层培训机制(24),网络是训练有素的从下到上一层一层地,和上一层的输出作为下一层的输入。这种学习机制的缺点是,第一层后的图像像素被丢弃,使更高的层之间的联系的模型和输入变得稀疏,进而导致误差校正信号变得越来越小的从顶层下来容易收敛到局部最小值。此外,当使用反向传播算法来传播梯度时,不能学习网络参数有效地网络层数量的加深,导致梯度色散(25]。

遵循上面的研究和观察,我们提出一种新颖的深卷积网络学习(宽带)方法来获得更好的性能分类肺结节的良恶性。中心思想如下:首先,部分肺结节区域的肺部CT图像获取肺结节图像和执行零相位成分分析(ZCA)美白图像的图像数据,这样所有的特性都有相同的方差和低feature-to-feature相关性。然后,添加一个多层感知器层每次卷积后层的构造宽带实现横跨海峡的信息交互和集成。最后,获得误差函数的二阶导数信息直接计算海赛矩阵,并根据这些信息来引入动量系数提高网络的收敛。关键的贡献总结如下:(1)使用ZCA美白过程输入数据可以减少图像像素之间的相关性,从而消除冗余信息;(2)通过引入多个感知器层每次卷积后层可以进一步加强网络的表达能力;(3)小批量的使用附加动量系数随机梯度下降训练深度网络可以有效地避免梯度扩散,提高网络的泛化能力。

2。材料和方法

2.1。网络系统架构

学习使用宽带肺结节的CT图像的特点,提高模型的表示通过引入多层感知器,进而改善了肺结节图像的分类精度。此外,介绍了动量系数提高minibatch随机梯度下降法的收敛(MB-SGD)方法来训练网络模型。肺结节良性和恶性的构造图分类系统基于宽带特征提取图所示1,它由三个主要部分组成。我包括肺结节图像分割和提取阶段:首先,一系列相应的二进制图像提取大量的原始肺部CT图像。然后,执行的二进制图像和原始图像的”和“符号操作获取肺结节图像。II是图像预处理阶段:肺结节图像中冗余信息提取在舞台上我是消除使用ZCA美白减少输入图像像素之间的相关性。第三阶段是学习宽带特性:首先,肺结节图像获得阶段II处理作为宽带的输入。然后,介绍了多层感知器层后每个卷积层实现横跨海峡的信息交互和集成。最后,MB-SGD方法动量系数是用来调整避免梯度的宽带色散问题。


图1
原理图良性和恶性结节的分类系统基于宽带特征提取。
2.2。肺结节图像分割和提取

研究早期癌症检测在高危人群中,美国国家癌症研究所(NCI)发表了肺图像数据库财团(LIDC)通过收集肺的医学图像文件和相应的损伤诊断结果的注释(23]。LIDC的数据集收集了1018临床肺部CT扫描,大小为512×512,每个CT扫描包含一个相关的XML文件包含四个有经验的放射科医生的独立的诊断结果(20.]。其中,放射科医生928肺结节,其中大多数是3-30毫米大小。肺结节的诊断结果包括坐标直径大于3毫米,恶性的程度。然而,由于肺结节的体积小,是不现实的对肺结节进行分类处理整个图像。因此,我们需要提取肺结节区域根据结节中心坐标,医生在XML文件中。LIDC数据集,放射科医生量化肺结节恶性肿瘤的1到5的范围:不可能,适度不太可能,不确定,适度可疑,高度怀疑。良性和恶性级别分类时,那些等级大于或等于3被归类为恶性,和那些小于3级分类为良性的。有可变性结节位置的标记不同的专家,导致结节区域的独特性。消除专家之间的差异,获得标准的肺结节图像,我们使用阈值概率(TPM)方法映射到段肺CT扫描(26]。中心思想如下:首先,根据专家的经验,权重值设置为每个专家的注释来表示专家注释的可靠性。然后,每个像素在肺结节区域的专家将相同的重量值。最后,重量值的像素权重值的总和,所有专家的像素。现在,假设四个专家有相同的经验,每个专家的权重值是0.25。如果一个像素标记为结节的一个组件由一个专家,像素是结节的概率是0.25。如果以3专家,的概率是0.75。因此,肺结节区域转换成一个映射映射概率值在0和1之间。当分段肺结节图像,只设置一个阈值T,和像素高于T设置为1时,像素低于T是设置为0。这生成相应的二进制图像。 Finally, this binary image is summed with the original image to obtain the lung nodule image. To improve the credibility of the study, when selecting lung nodule images in the LIDC dataset, we only considered cases in which at least three radiologists have made such a diagnosis of malignancy. Therefore, we segmented and extracted images of lung nodules, and eventually obtained a total of 750 cases of lung nodules, including 353 benign cases and 397 malignant cases. Due to the inconsistent size of lung nodules, to facilitate the learning and training of the DCN, they were normalized and transformed into grayscale images with a size of 28 × 28. The processed part of the sample image is shown in Figure2。


图2
处理过的样品图像的一部分肺结节。
2.3。图像预处理

这是考虑到 是一家集 大小的图像 和 表示图像的通道。首先,因为视觉图像是高度受光的影响,减少图像亮度特征学习的影响,对比的图像归一化(27使用以下方程: 在哪里 是矩阵平均函数。归一化参数 介绍了抑制实验噪声的产生和防止分母为0。对彩色图像和灰度图像, 通常是作为10。

因为强大的图像的相邻像素之间的相关性,它包含大量的冗余信息。使图像中所有功能都有相同的方差和低feature-to-feature相关性,我们对输入数据执行ZCA美白,白茫茫的数据尽可能接近原始数据具有相同的维度。执行一个矩阵变化为每个图像 在图像采集 通过对比标准化操作,每个图像像素点的值为一个元素d列向量,每个长度 ,形成一个 - - - - - -行和 - - - - - -列矩阵的值 。通过执行协方差矩阵的特征值分解 , 获得,然后缩放输入数据使用特性的因素: 在哪里 是美白因子。为了避免由于特征值不稳定值或数据溢出 接近0, 可以作为一个非常小的正数。在此基础上,使用方程(执行ZCA美白3),得到矩阵的每一列对应于ZCA美白后的图像数据。

2.4。宽带特性学习

肺结节图像分类,每个图像的类别描述的两种分类的良性或恶性。基于上述研究的指导,我们使用所有肺结节图像特征的提取宽带softmax-loss分类器和用于二进制分类。基于宽带特性学习模型图所示1。模型由一个输入层、一个特征提取层和一个输出层。学习过程如下:首先,在卷积特性映射层是由卷积生成相同的卷积核基于重量共享策略来降低模型复杂度和训练参数。池层中,卷积层的功能特性是非线性downsampled过滤掉类似的功能,从而降低计算复杂度和提高当地的不变性特征。最后,softmax-loss分类器是用于构建多任务分类器的学习深度特性。与其他宽带相比,我们实现横跨海峡的信息交互和集成通过添加多层感知器网络体系结构层,从而进一步提高深层网络的泛化能力。在实际建设过程中,网络体系结构相当于两个1×1卷积层的引入,它只改变卷积核的大小和特性映射没有影响的大小。

让数据后的肺结节图像ZCA美白 。预处理后的肺结节图像是灰度图像,输入数据 和卷积内核都是二维结构。卷积层可变输入数据或前一层特性映射与多个组卷积核,然后总结相应的输出的位置,增加了偏差项,获得卷积层特征映射的作用下激活函数。它的输出特性映射计算如下: 在哪里l是回旋的层数。 表示 输出功能层的地图l。 卷积内核连接吗j功能层的地图l−1与 功能层的地图l。 层特征图的数量l−1。 表示ReLU非线性激活函数。∗是卷积算子。由于输入的数据分布,图像卷积操作之后将会改变,从而导致内部协方差变化问题[28]。因此,我们的数据分布通过引入十亿层网络体系结构。BN处理后的数据相当于PCA降维(29日];特征之间的相关性降低,和归一化数据平均值和标准偏差的平均值每个维特性是0和标准差是1。在实际的施工过程中,我们通常把BN层之间的激活函数,卷积操作,所以forward-conducting卷积计算方程(4)改变如下:

池层是downsample前卷积特性映射层获得较小的输出特性图,对应于输入功能一一对应。 在哪里 将采样函数和吗 是将采样系数。在池层类似于卷积层,我们还正常功能映射通过引入十亿层,和它的位置通常是放在激活函数和池之间的操作,以便forward-conducting池计算方程(6)转换成

宽带模型是采用反向传播训练分层技术培训机制,和训练有素的参数是卷积核f。让 表示米对应的标签尺寸我样本。 表示米输出对应的维度我样本。平方误差代价函数 在哪里米表示类别的总数。卷积的更新公式内核使用小批量随机梯度下降法如下: 在哪里t表示当前时刻和 是学习速率。众所周知,在训练的过程中宽带使用MB-SGD方法,当梯度保持方向变化时,表面有不同的曲率误差沿着不同的方向,这很容易导致表面点摆动从一边到另一边的不断下降梯度,梯度不能收敛到最小值(30.]。因此,我们考虑保留梯度向量信息在最后一次MB-SGD方法和误差函数的二阶导数信息获取网络参数时在最后一次更新。这个二阶导数信息估计不仅表面的成本函数的梯度点(一阶信息),而且表面的曲率(二阶信息)。一旦曲率计算,成本函数的近似最小值的位置可以被估计。卷积的更新公式内核在获得二阶导数信息 在哪里 梯度函数的时刻吗t−1。从QuickProp Fahlman[提出的理论31日),众所周知,如果卷积核的步长更新公式增长太快,它往往导致收敛过程发散。因此,一个动力因素µ介绍了克服上述缺点。方程(11)相当于方程(12)当方程的条件(11)建立。

基于上述分析,方程(9)转换为

3所示。结果与讨论

3.1。实现细节

在本节中,实验中使用的深层网络包括三个街区,每个都有相同数量的层,包括卷积层,多层感知器层,和一个池层。原始数据输入后第一个块,卷积操作的步长1和卷积核大小为5×5执行输入图像提取特征。然后,两层感知器的步长1和卷积核大小为1×1使用信息交互和集成特性。最后,池层大小的2×2和2是用于downsample的步长。第一个池层使用一个averagepool maxpool和其他使用。年底的最后一个块,softmax-loss分类器附加averagepool后执行。特征映射维度三个街区的28×28日12×12日和4×4。确切的网络配置我们使用的数据集如表所示1。

表1
网络参数配置。
3.2。培训的设置

我们使用一个基于matlab的深度学习框架(MatConvNet)的建设提出了深工作站Win10系统网络模型,i9处理器和64 g内存。我们选择分层10倍交叉验证严格验证模型(20.]。所有的数据都是随机分为10个子集。9这些子集用于培训和一个用于测试,重复十次。在训练阶段,我们使用了MB-SGD方法优化模型。根据我们的经验,我们初始化参数。最初的学习速率设置0.1,minibatch大小是50。我们采用描述的重初始化策略32体重衰变为0.0001。我们的实验已经进行了120时代。

3.3。验证Hyperparameter

在本文中,我们提出需要修改网络参数反复利用的方法MB-SGD最后做出的结果损失函数达到最小值。MB-SGD方法动量系数、动量系数的值μ直接影响的位置最低成本函数,进而影响肺结节图像的分类精度。由于这个原因,有必要讨论的价值μ。根据培训设置中的描述,十个实验用10个不同的值μ进行选择的最佳值。我们改变的价值μ从0到1每隔0.1。表2显示了不同的影响μ值对模型的分类性能。可以看出,肺结节图像的分类错误率逐渐减少的价值μ增加。当μ是0.9,模型可以获得最低的分类错误率。

表2
不同的影响μ值对模型的分类性能。
3.4。实证研究
3.4.1。肺结节的良恶性分类在不同的示例配置方案

在本节中,我们进行了一系列的实验来找到最合适的示例配置方案。根据数据分布方法训练集的一个子集(75)样本是随机选择测试集。验证训练集规模的影响在模型的泛化能力,我们逐渐增加训练样本的大小。可以看到从图中的结果3,改变训练样本的大小影响网络的分类性能。随着训练样本数量的增加,网络分类精度往往会增加。当训练样本是500年或550年,我们的网络模型达到最佳的分类性能。在那之后,网络分类性能显示一个下降的趋势。这个问题可能会受到病例数的数据集的大小和一个梯度的消失。


图3
分类精度在不同的示例配置方案。
3.4.2。优化器选择

梯度下降算法是最常用的优化方法在机器学习,和当前的网络使用不同的梯度下降算法训练网络培训。因此,一个好的优化设计在实际应用中是非常重要的,以避免深的梯度扩散网络。在本节中,测试的速度和稳定性提出MB-SGD动量系数法在训练过程中,我们把RL曲线和分析算法的有效性通过比较它与传统MB-SGD方法。均方误差RL曲线与最小均方误差滤波序列,和它的形状表明,迭代的次数的增加,CNN模型训练过程预测错误。另一方面,它还代表了网络收敛速度和稳定性。在这个实验中,minibatch大小是50和训练样本是500。训练后的样本数据一次,10次迭代更新权重,执行120年时期的训练之后,权重是迭代更新的1200倍。实验结果如图所示4。可以看出,两种学习算法有相似的最小均方误差值在初始阶段的训练。随着迭代次数的增加,两种算法的RL曲线显示逐渐减少,这表明培训网络稳定可靠。值得注意的是,MB-SGD显示了一个光滑的RL曲线趋势第200和第700迭代的迭代。此外,MB-SGD动量系数的最小均方误差值小于MB-SGD。这表明MB-SGD与动量系数在网络训练更快和更稳定的收敛性。

(一)
(一)
(b)
(b)
图4
宽带的收敛过程结构的过程中训练。(一)MB-SGD。(b) MB-SGD动量系数。
3.4.3。深层网络体系结构的比较

深度学习的最重要的优势之一是能够自动从原始图像学习相关特性。进一步评价了该方法的有效性,古典深度学习模型如CNN, DBN, SAE被用来提取肺结节特征并进行分类实验在相同数据集分割。表3给出了分类结果的比较在不同深度学习模型。可以看出,我们提出了宽带模型获得更好的分类性能比其他深度学习古典模型。此外,在经典的深度学习模型中,CNN的分类性能优于DBN, SAE。图5显示肺结节的可视化特性提取三种深度学习经典模型。结果表明,特征可视化结果提取CNN更抽象。与此同时,结合实验结果表3可以看出,CNN,图像特征提取中具有明显的优势。

表3
分类结果的比较不同的DL架构。
(一)
(一)
(b)
(b)
(c)
(c)
图5
视觉显示古典深度学习的模型特征提取。(一)CNN。DBN (b)。(c) SAE。
3.4.4。结果的分析

突出的表现我们的方法,我们比较我们的结果与文献为肺结节的分类。如表所示4LIDC的数据库,所有方法用于实验。在这项研究中,因为这些结节组织病理学的结果,缺乏和肺结节的体积小,是不现实的对肺结节进行分类处理整个图像。因此,所有方法提取肺结节区域根据结节中心坐标,医生在XML文件中,并根据该方法处理数据。最后,根据提出的模型,不同的数量和类型的肺结节样本。从表可以看出4,而2 d-cnn [4,33- - - - - -35),3 d-cnn [20.,21,36达到更好的分类性能而使用更少的肺结节样本。这主要是因为3 d-cnn可以更有效地从肺结节提取空间信息。结果表明,我们提出的方法优于现有的其他作品,同时也证明了该宽带的有效性与MB-SGD肺结节的分类。此外,与一个CNN分类模型相比,一个模型,通过结合不同的分类和特性融合具有更好的分类性能。此外,本研究还证明了过程的重要性,我们必须选择来提高模型的性能。

表4
比较不同方法的结果。

4所示。结论

作为一个最受欢迎的机器学习领域的研究方向,深入学习可以学习高级功能的数据和功能更强大的非线性表示。在这项研究中,我们提出一种新的宽带学习方法对肺结节的良恶性分类。主要优点如下:(1)对肺结节提取执行ZCA美白处理图像,像素之间,可以有效地消除冗余信息;(2)结合多层感知器层与CNN构建宽带模型具有学习能力的强烈健壮的特性,从而提高网络的特性表征能力在更大程度上;(3)MB-SGD方法与动量系数用于火车深网络,有效地避免了局部最优和梯度色散现象。LIDC数据集上的实验结果表明,该宽带学习方法具有较高的分类精度为良性和恶性肺结节的分类。

数据可用性

使用的数据来支持本研究的发现可以从第一作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本研究支持的引进人才计划徐州医科大学(D2019047)和徐州科技计划项目(KC21046)。