文摘

为了减少术前诊断的主观性,实现准确、快速分类的特发性脊柱侧凸,从而改善脊柱手术诊断的标准化和自动化,我们实现更快的R-CNN和ResNet对病人的脊柱图像进行分类。本文基于脊柱x射线成像的图像通过我们的放射科。我们比较结果与整形外科医生的测量结果进行验证和分析,最后提出了绩效评价的分级结果。最终的实验结果可以满足临床需求,快速和健壮的深度上优于脊柱侧凸诊断脊柱侧凸算法可以实现使用x射线扫描没有人工干预。这能增加computerized-assisted脊柱侧凸的诊断基于x射线成像技术,具有强大的潜在临床实用程序应用于骨科领域。

1。介绍

青少年特发性脊柱侧凸(AIS)是最常见的三维的脊柱畸形,约占总数的80%特发性脊柱侧凸。在我的国家,脊柱侧凸的患病率仍逐年增加(1]。6岁的青少年的发生率是1% - -3%,这不仅严重影响青少年的外表,但也会损害他们的呼吸功能,运动机能,心理状态,整体的生活质量。此外,脊柱手术耗时且危险,和用于外科手术的仪器校正是复杂,困难,痛苦,和复杂的(主要的整形外科手术)。此外,术前诊断是主观的,它可以导致不同的诊断。因此,如何规范和自动诊断脊柱手术的意义。

一般来说,整形外科医生手工测量和计算柯布(这与外科医生名叫约翰·罗伯特·科布)的角度根据脊柱的形状由x射线胶片由病人决定病人是否有脊柱侧弯,其严重性。从Cobb角测量方法的研究现状的脊柱侧凸图像,Cobb角测量方法研究和应用在某种程度上,但更多的是基于手动和半自动测量方法提出了脊柱侧凸的Cobb角测量图像。现在,Cobb角的手动测量脊柱侧凸图像仍有一定的缺陷和挑战。值得注意的是,人工诊断方法将同时增加医生的工作量,浪费了大量的医疗资源。与计算机硬件和人工智能技术的不断发展,计算机辅助诊断基于深度学习已经成为一种重要手段,协助医生(2),取得一定效果,为脊柱侧凸的医疗状况提供了一个新的方向的疾病。在本文中,我们选择x射线成像和研究脊柱侧凸疾病的筛查方法基于卷积神经网络(3]。

2。方法

2.1。基于卷积神经网络的目标定位方法

2.1.1。快R-CNN模型(目标定位模型在脊柱区)建设

越快R-CNN模型(4)由两部分组成:地区建议介绍基于区域网络(RPN)和快速卷积网络方法(快速R-CNN)。越快R-CNN用于本文获得特征映射的基本网络结构组成的多层conv和ReLU(小五深ZF网络模型的视频内存需求较低或大型16层深VGG-16网络模型高的视频内存需求),地图和特性是以下两个地方的网络共享。第一部分是输入特性映射到提议的RPN的地区地图上的特性。第二部分利用快速R-CNN分类和准确定位的建议。最后,目标的位置信息和分类信息。图1显示了详细的网络结构的基于速度R-CNN脊柱x射线图像定位。

本文使用的实验数据是病人的脊柱的x射线图像和图像的大小 (3通道的图像的数量)。五深ZF网络是用于提取特征,包括5 conv层,2 ReLU层,2 LRN层,2 maxpool层。如图1,每个conv层连接到ReLU层,使用ReLU激活函数(5]。

的基本结构的第一深度更快R-CNN有四层。第一层是conv层,组成的96人 卷积核,用跨步,填充3,大小的结果 ;第二层是ReLU层,输出结果的大小 ;第三层是LRN层,利用侧抑制的概念在生物学达到当地抑制神经网络。LRN结合ReLU用于提高像素大反应,抑制像素小响应,实现当地的规范化,提高网络的泛化能力,提高识别率;第四层是maxpool层,使用 池窗口,步幅是2,填充1,输出结果的大小 。结构第二层网络的深度是一样的深度。第一层conv层使用256 卷积核,跨越2,填充2,结果的大小 ;第二层是ReLU层;第三层是LRN层;第四层是maxpool层,使用 池窗口,步幅是2,填充1,输出结果的大小 。第三层和第四层深度,第五层的深度网络具有相同的结构。它们都使用基本conv层结合ReLU层。conv层使用384、384和256 卷积核,分别步是1,填充1,第三和第四层的深度网络都是 。第五层的深度网络结果的大小 。因此,通过一个简单的神经网络的计算 特征映射终于获得。

项由一个简单的卷积神经网络。首先,卷积执行到256年 卷积核产生的结果 。然后通过两个 卷积核形成两个分支。第一个分支是由18卷积核和产生的结果 ( :9锚,每个都有两个参数,表示前景和背景,总共18维度)。第二个分支是由36卷积核和产生的结果 ( :9锚箱,每个都有四个参数,代表的协调中心,宽度和高度的锚箱,共计36尺寸)。在进入ROI定义网络之前,重塑结果从第一个分支(同时改变输入数据的维数没有改变数据内容)来获取所需的向量。

softmax的RPN组成的三层网络,重塑,提议生成ROI的定义。18-dimensional特征向量输入softmax每个锚箱的概率是前景和没有前景。这一层的计算完成后,计算结果是重塑再次获得一个向量的 。定义层的输入包括原始图像( ),从上一层获得向量,结果获得的第二个分支第八层的深度,如图2。根据重叠比真正的盒子和预测的盒子,生成一组候选人的箱子,箱子超过边缘和盒子不符合重叠则被丢弃。

softmax R-CNN由ROI池,和四个完全连接层。特征映射和计算的锚箱的RPN ROI池层的输入,计算锚箱的特点,完全连接层和将softmax层连接。这一层的池参数 ,步是6,选择和空间规模1/16的原始图像。最大池仍然是选中。最后,一个 - - - - - -维的特征向量。每个锚区域有四个参数,代表的位置相对于原始图像的信息 。输入到最终的分类结果网络,只有四个完全连接层和一层softmax是必要的。完全连接层fc6 fc7;都使用辍学方法减少连接层的参数有一定概率,减少模型的计算量(6]。然后连接完全连接层boxes_pred cls_score,分别。boxes_pred输出精确目标的位置信息框,和cls_score连接将softmax层输出的概率类别对应于每个目标,如图3。

项获得初步锚箱经过借据的限制。这些锚箱不能正确检测目标的位置。如果你调整锚盒子,你可以得到锚盒子更类似于地面实况绑定这帧位置信息将更加准确。本文使用限定框回归调整锚箱。在当前的算法,输入的数据集 在哪里 ,其中 , 。如图4,代表地面真理界,代表了锚箱过滤掉。

的概念限定框输入的四个价值回归 地面实况绑定和四个值 锚箱代表中心的坐标,输入框的宽度,高度和继续学习找到适当的功能这 并使预测窗口尽可能接近真实的窗口越好。四种转换方法 使用, 参考翻译中心的位置没有改变,和 的翻译是指定的锚箱的宽度和高度。主要通过学习方程(1),网络翻译和检查锚箱缩放窗口获得的位置信息预测 。

在方程(1), 在哪里代表 。当锚箱靠近地面真理,他们可以成为一个线性函数实现回归。回归的目标函数是根据训练数据定义的 。在方程(2),翻译规模和规模扩展 可以获得的优化模型。

线性回归 ,输入向量 ,和不断学习参数这样输出不断接近真正的价值 。在 在这篇文章中,线性卷积运算得到的特征向量,然后呢是一个向量用于表示模型的参数是可以习得的。的计算公式方程(3),这是学习的最小二乘法优化正规化。

快R-CNN训练方法,本文使用五ZF网络和采用四步交替训练方法训练的脊柱侧凸患者脊柱图像。这种方法可以优化训练参数和提高网络效率。培训的整个过程更快R-CNN可分为四个阶段,如图5。(1)使用第一个5层的基本网络(conv + ReLU) ZF网络模型来提取所需的特性映射到火车的RPN 1网络模型的第一阶段(2)仍在使用的第一个5层基本网络(conv + ReLU) ZF网络模型,但使用的输出的RPN 1网络模型(地区建议)作为输入的培训网络,和火车快速R-CNN 1网络模型的第一阶段。在这个阶段,和快速R-CNN不共享项卷积层(3)使用快速R-CNN 1阶段1项初始化模型的网络参数,调整的RPN的独特的网络层,并生成阶段2的2项网络模型。通过这种方式,两个网络和快速R-CNN可以共享项卷积层,减少参数的数量(4)修复共享卷积层,合并打印2网络模型生成的第二阶段快速R-CNN模型与独特的层形成一个统一的网络。连续的迭代,微调独特的快速R-CNN模型的参数,最后生成所需的目标定位模型

2.1.2。ResNet模型(脊柱侧弯病分级筛选模型)建设

ResNet(残余网络)卷积神经网络由5组曲线玲珑。因为每组的数量和参数的分布是不同的,一个ResNet卷积神经网络与不同的层形成。有五种形式:ResNet18、ResNet34 ResNet50, ResNet101, ResNet152。如图6,所有ResNet卷积神经网络包括三个主要部分:输入部分,中间的卷积每个阶段的一部分(图中蓝色框包含四个阶段从Conv2_x Conv5_x),和输出部分。虽然有不同的变体ResNet卷积神经网络,他们基本上按照图中所示的结构特点。网络层的数量是不同的,主要是因为卷积的数量差异的中间参数和构件参数组。

如图6,输入的一部分ResNet卷积神经网络由conv层,批正常化(批处理规范,BN)层,ReLU层,maxpool层。本文使用的实验数据是病人的脊柱区域的医学图像生成的R-CNN更快。图像的大小 (3)图像通道的数量)。第一层的输入部分是conv层,它是由64组成的 卷积核,用跨步,填充3,大小的结果 ;第二层是BN层,称为批处理标准化层,可以加快网络的收敛速度,改善梯度网络中分散,防止网络过度拟合。通常使用卷积后层;第三层是ReLU层,和输出结果 ;第四层是maxpool层,使用 池窗口,步幅是2,没有填充,输出结果 。

第二至第五深渊的网络是由不同数量的构建块。不同数量的积木可以形成不同深度的卷积操作(如图7卷积操作的四个阶段,在蓝框)。图中的红色框中的数据7 , , , ,和 的重复叠加次ResNet18积木,ResNet34, ResNet50, ResNet101和ResNet152分别。例如,ResNet50由一个输入层,每个模块从Conv2_x Conv5_x对应{3}3、4、6日重复叠加,最后输出层(计算过程: )。正如你所看到的图7,有两种不同形式的构建块(图中紫色的盒子)。他们是两层计算构件ResNet18 ResNet34和三层计算构件ResNet50, ResNet101, ResNet152。

图8显示了不同的构建块的详细结构图。图8(左)显示了原始构建块结构。输入特性图分为两个数据流。一个数据流经历两个 卷积运算。第一层的卷积操作之后,有一个ReLU操作。卷积核的数量是64。步是1,填充是1,输出结果 。其他数据流输入数据, ;两个有相同的尺寸,可以直接添加在两个水平,以便ReLU计算可以输出到下一个构建块结构。图8(右)表明,该构建块结构介绍 卷积。通过 卷积操作,功能可以任意增加或减少地图维度同时保持特性图的大小不变,这样可以减少卷积运算的复杂性。输入特征地图仍是分为两个数据流。一个数据流进行三层卷积操作。第一层是64 卷积核,使用步1,没有填充,输出结果 。然后,执行ReLU操作;第二层是64 卷积核,使用步1,填充为1,输出结果 ,执行ReLU操作;第三层是256 卷积核,使用步1,没有填充,输出结果 。其他数据流输入数据。256年之后 卷积核,原件 升级,这样数据维度的两个数据流是相同的,他们是直接添加在执行ReLU计算三个层次。然后,这些都是输出到下一个构建块的结构。

2.1.3。随机梯度下降法在ResNet模型

在ResNet卷积神经网络,批处理随机梯度下降的方法(7)一般选择培训。通过这种方式,可以避免梯度振荡或陷入局部最优条件在一定程度上。在ResNet卷积神经网络目标函数通常是凹函数。梯度下降算法找到最小的点凹函数通过连续计算。衍生品的最大值或最小值的问题非常有用的功能。函数的 ,导数来标示 。使用一个足够小为了使小于 ,所以移动一小步相反的方向导数的减少 。这一技术是梯度下降法。本文中使用的梯度下降法随机梯度下降算法。它的核心思想是随机选择一个小的样本 从训练集和的值通常是小的。当整个训练集的增长,是固定的。通过这种方式,样品需要每次更新,这将大大降低计算成本的一大训练集。梯度方程的计算过程(4)。随机梯度下降法的计算过程是方程(5),是学习速率。

2.2。病人的脊柱图像数据和筛选

使用病人的脊柱的x射线图像本文收集的近3年,从2019年到2021年。脊柱侧凸筛选数据有两种不同的标签。一个是四个模型用于脊柱侧弯病,如图9,包括没有疾病(Cobb角0°-10°),轻度脊柱侧凸(Cobb角是11°-25°),中度脊柱侧凸(Cobb角是26°-45°),和严重的脊柱侧凸( )(8),如表所示1。另一种是基于脊柱侧凸患者的实际需要,有三个层次的两类。其中,脊柱侧弯病的二元分类模型是检查病人是否生病;轻度脊柱侧弯病的二元分类模型是检查病人是否有轻度脊柱侧弯病;严重脊柱侧弯病的二元分类模型来判断病人是否有严重的脊柱侧弯病,如图10- - - - - -12。在本文中,为了有效地判断脊柱侧凸患者的程度,大量进行了比较实验,和不同的实验数据已经被使用。共有6834名患者的脊柱x射线图像用于本文。预处理后的数据,不包括重复数据和低质量数据,总共有3600个实验数据。

为了让所有的数据作为训练集和测试集,增加的可靠性模型,提高模型的泛化能力,并避免过度拟合等问题的模型;本文实验采用四倍交叉验证方法进行训练和测试。四倍交叉验证(9- - - - - -14)是指使用nonrepetitive抽样方法简单随机抽样将整个数据划分为四个部分;选择的三个部分培训模型,另一个是用于测试模型。这样,四个模型训练可以执行四个模型可以获得,四套可以获得测试结果。

验证目标定位的脊柱区域的表所示2。表中,没有疾病,轻微脊柱侧弯病、中度脊柱侧弯病,严重的脊柱侧弯病(15- - - - - -19)是由1、2、3和4分别。模型1、模型2,模型3和模型4是四个模型生成的四倍交叉验证。

为了验证脊柱侧凸的分类筛选实验,训练数据和测试数据分布的脊柱侧弯病二进制分类模型,轻度脊柱侧弯病二进制分类模型,和严重的脊柱侧弯病二进制分类模型如表所示3- - - - - -5。表中,没有疾病,轻微脊柱侧弯病,温和的脊柱侧弯病和严重的脊柱侧弯病由1、2、3和4分别。模型1、模型2,模型3和模型4是四个模型生成的四倍交叉验证。

2.3。经典的特征提取方法和支持向量机分类器

为了使实验更有说服力,本文使用传统的机器学习方法和支持向量机(SVM)分类器作为对比实验来验证使用的效果更快R-CNN和ResNet卷积神经网络分级实验的脊柱侧弯病。本实验采用特征提取的纹理特征和局部二值模式(LBP)检测感兴趣的区域,并使用支持向量机分类器分类详细脊柱侧弯病。

纹理特征是指图像中不同像素之间的关系。本文使用单点像素的计算及其周边像素点来提取图像的纹理特征。

局部二值模式(LBP)可以描述图像的局部纹理特征和提取图像的地方特色通过不同枸杞多糖。本文运用传统LBP计算方法,定义了一个 窗口中,设置窗口的中心的灰度值作为阈值,并比较8围绕中心像素的灰度值。如果像素值大于中心,它被标记为0;否则,它被标记为1。通过这种方式,可以获得一个8位二进制数,也就是说,枸杞多糖代码中心的像素(通常是8位二进制代码转换为十进制代码)。本文使用十进制代码中心的像素来反映纹理信息和完整的特征提取。

支持向量机(SVM)是一种二元分类器分类常用的机器学习。使用这种方法,符合脊柱侧凸疾病的三个二元分类问题。在一个特定的数据集,手动标签正负样本,寻找一个超平面,另两种不同类型的样本尽可能找到最优决策表面进行数据分类。对医学图像的二元分类问题,本文使用接受者操作特征(ROC)曲线和曲线下面积(AUC)评价的利弊二进制分类分级机。数据可以分为正样本和负样本。脊柱侧凸二进制分类模型的疾病,脊柱侧弯病,也就是正的,而且没有脊柱侧弯病,叫做负的。在实际的数据检测过程中,四个情况会发生,如表所示6。

敏感也可以称为召回率或真阳性率(TPR)。特异性是所有样本的比例没有脊柱侧弯脊柱侧凸的预计是免费的。ROC曲线的横坐标是玻璃钢,这是所有样品没有脊柱侧凸的比例,预计脊柱侧凸。ROC曲线的纵坐标是TPR,与脊柱侧凸是所有样本的比例,预计有脊柱侧弯和脊柱侧凸。在理想的情况下,预计玻璃钢是0和TPR是1。如果AUC的值是1,这是一个理想的分类器,分类效果是完美的。因此,AUC值越接近于1,分类效果越好。主要评价指标的计算过程如表所示7。

3所示。结果

图13脊柱侧凸的四级标签显示了筛选数据,操作的脊柱,轻度脊柱侧凸,温和的脊柱侧凸,和严重的脊柱侧凸。

脊柱侧弯病的二元分类模型,从整体的角度的图像分类、更快R-CNN和ResNet卷积神经网络的分类效果最好。AUC值是0.9087,这充分说明了快R-CNN和ResNet卷积神经网络具有更好的分类影响脊柱侧弯病比传统机器学习方法。TX图像的纹理特性,结合支持向量机分类器,和一个好的分类结果也获得,AUC值为0.8553。枸杞多糖和SVM分类器的组合最坏的效果,AUC值为0.8142。

在图14的二元分类模型,轻度脊柱侧弯病,快R-CNN和ResNet卷积神经网络的分类效果最好,AUC值为0.8659。图像的TX结合支持向量机分类器也有了一个好的分类结果,AUC值为0.8884。枸杞多糖和SVM分类器的AUC值0.8432。

二进制分类模型的严重的脊柱侧弯病,快R-CNN和ResNet卷积神经网络的分类效果,最好和AUC值是0.8603。枸杞多糖和SVM分类器的组合也有了一个好的分类结果,AUC值为0.8316。TX的形象,结合支持向量机分类器,有坏的影响,AUC值为0.8219。

从表可以看出8- - - - - -10脊柱侧弯病的二元分类模型,轻度脊柱侧凸的二进制分类模型,和严重脊柱侧凸的二进制分类模型使用更快R-CNN结合ResNet卷积神经网络比使用传统特征提取结合支持向量机分类器的准确性、敏感性和特异性。

4所示。讨论

在本文中,我们使用的方法,结合传统的特征提取和支持向量机分类器进行比较实验。实验结果分析表明,快R-CNN和ResNet50卷积神经网络具有更好的屏蔽效应对脊柱侧凸的疾病。最后的实验结果可以满足临床需求。

目前,术前诊断Lenke [20.- - - - - -24)类型的特发性脊柱侧凸手术主要国内医院由医生观察病人的脊柱x射线,利用标记和统治者手动测量诊断Cobb角。不同的医生在观察的结果,可能有偏差和测量的角度也会改变,所以观察者之间会有错误。然而,同样的医生可能有不同的测量结果每次测量同一个病人,所以有错误在观察者。观察者和观察者之间的误差会影响操作的准确性。主要原因是角是手动测量。为了取代医生Cobb角测量和分类,实现准确、快速特发性脊柱侧凸的分类,本文使用了一个流行的深度学习框架并验证和分析测量结果医生在测试集和显示了分类的结果。最后的实验结果可以满足临床需求。脊柱侧凸诊断的新算法基于深度学习快速、健壮的没有手动定义。请注意,预测控制算法(25,26)可以用来改善医学图像诊断和促进治疗程序。

5。结论

本文包括两个部分:区域的位置的x射线图像感兴趣的病人的脊柱和脊柱侧弯病的详细分类使用x射线成像。研究的定位感兴趣的地区在病人的脊柱的正直的形象,本文选择更快R-CNN卷积神经网络来确定病人的脊柱区域。在脊柱侧凸疾病的分级研究,本文首先结合骨科专家的临床经验和患者分为四个年级根据脊椎的Cobb角的大小。同时,ResNet卷积神经网络用于脊柱侧凸疾病进行分类,然后,网络优化。最后,本文比较了卷积神经网络方法和经典的特征提取方法在机器学习(纹理综合特征,局部二进制模式)与支持向量机(SVM)相结合的方法,从而增加的可靠性模型,提高了模型的泛化能力。从研究结果,结合更快R-CNN和三个ResNet二进制分类模型研究可以用作参考脊柱侧凸矫形外科医生来诊断疾病。

数据可用性

数据请求从作者由于隐私/伦理限制。

同意

所有的人类受试者在这项研究给了他们的书面同意参与我们的研究。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Peiji陈和Zhangnan周贡献同样这项工作。