文摘

尤其是膝OA,骨关节炎(OA)是最常见的关节炎,全世界引起严重残疾的病人。手册诊断、分割和注释的膝关节保持流行的方法来诊断OA在临床实践,尽管他们是乏味的,极大地受到用户的变化。因此,为了克服上述常用的方法的局限性,大量的深度学习方法,尤其是卷积神经网络(CNN),已经发展到临床工作流程效率的提高。医学成像过程,特别是那些生产三维(3 d)如核磁共振图像,具有发现隐藏的结构体积视图的能力。承认膝关节是一个3 d的变化复杂性,3 d CNN一直用来分析联合问题近年来更准确的诊断。在这次审查中,我们提供了一个广泛的概述当前2 d和3 d CNN方法在OA研究领域。我们进行了74项研究相关分类和分割的膝骨关节炎的科学数据库和网络讨论了各种先进的深度学习方法建议。我们强调了潜力和可能性的3 d CNN膝骨关节炎。我们的结论是通过讨论可能所面临的挑战以及潜在的进步在这个领域采用3 d cnn。

1。介绍

骨关节炎(OA)是一种最普遍的退行性肌肉骨骼疾病。这种疾病正在影响全球近5%的人口(1]。膝盖是最常见的关节受到OA,它的特点是不可逆变性关节软骨的骨骼的末端如股骨、胫骨和髌骨软骨(2]。膝盖膝骨关节炎(OA)是一种进行性疾病,影响整个膝关节。膝OA是由机械磨损以及生化变化。OA的已知的危险因素包括衰老、肥胖(3),和以前的膝盖受伤4]。OA会引起疼痛,限制功能,减少一个人的生活质量。在OA关节损伤是不可逆的,明确的治疗需要全膝关节置换(唯一),这是昂贵的,尤其是肥胖者(短寿命5]。因此,膝关节OA的早期检测是至关重要的起始治疗如减肥和锻炼发现可有效阻止膝OA进展和延迟唯一(3,6]。

目前OA主要依靠影像学分级量表Kellgren-Lawrence评分,检查显示在x射线纯摄影图像的变化。然而,这种方法导致OA的诊断延迟,因为骨的变化只出现在先进的条件。除了x射线,其他成像方式,如磁共振成像可以利用几个OA软组织生物标志物如软骨和半月板变性以及变形的软骨下骨小梁和确定膝关节OA的发病(1]。存在不同类型的OA-related分割或分类模型评估的膝盖通常分为古典方法和深度学习(DL)方法(7,8]。在当前的临床实践,评估执行的OA严重程度通常是视觉摄影图片一样,这是容易评分者间信可变性和时间消耗大型数据集(9]。

最近研究了人工智能(AI)和日益公认的作用深度学习在医学领域,包括计算机辅助膝关节OA的诊断(10,11)其目的是为了减少人为错误导致的不确定性诊断(12]。重要的动机在OA研究人工智能的发展是巨大的存储库的可用性骨关节炎的临床和影像数据,如通过倡议(OAI) [13]。有不同类型的架构的深度学习如卷积神经网络(CNN),递归神经网络(RNN),递归神经网络,和无监督pretrained网络(隐喻)[8]。

医学成像领域的分类任务,评估成像生物标记物通过端到端的深层神经网络可以支持临床医生提供更准确的诊断,如预测事件,严重程度,或进展的疾病,甚至临床结果。深度学习的使用,尤其是在卷积神经网络,是普遍的,因为它显示验证结果与人类相比,从业人员的手工方法或经典方法(8,12]。深入学习方法如CNN学习复杂的特性通过提取视觉特征模型中自动使用一系列的组合转换架构(11,14]。图1说明了CNN的伞下人工智能的范畴。CNN是一种深度学习机器学习分类的伞下人工智能(AI)。cnn是健壮的复杂性较低,容易训练,网络学习在整个优化过程中使用更少的参数(15]。CNN的一般体系结构包括一个输入层、隐藏层相关的一系列图像多层前馈网络的过滤器,图像过滤器是投射到输入图像,提取和输出层的功能(8,14]。

临床医生经常使用各种诊断OA患者的数据。的数据可以用于医学诊断研究医学图像数据,通常DICOM图像从不同的方法如超声波成像、计算机断层扫描(CT), x射线或磁共振成像(MRI)和非医学图像数据,如统计数据,人口统计信息,和健康行为信息。深度学习的关键问题之一是由于大量的过度拟合模型中的参数和正则化技术的复杂性。因此,为了保证模型的泛化,数据通常分为三组:hyperparameter优化训练集,验证集过度拟合控制和测试集16]。

2。Nonimaging-Based深度学习

电子健康档案数据集包含一个不同病人的临床数据集信息,如诊断、治疗计划,测试结果,和病史包括放射学医学图像成像数据。人口统计信息、个人特点、症状、生活方式和健康行为的患者,自我报告或评估,变量是包含在病人的评估。不仅成像数据,而且这些非成象数据包含丰富的重要信息来源,可能扮演了一个重要的角色在疾病预测4]。

OA的深度学习研究使用非成象数据是有限的,大多数研究集中在成像深度学习在OA的诊断模型。OA的早期诊断是具有挑战性的,因为它是一种复杂的疾病,可能是由于大量的危险因素如年龄、性别、体重、身体质量指数(BMI)、疾病的家族史,日常生活活动,甚至工作范围(2,4]。除了人口统计信息,可以利用射线KL-grade等风险因素。虽然射线图像仍然OA的诊断的“金标准”,统计数据包括患者的健康行为信息将方便膝OA进展的预测。非成象数据更容易获得,,那么成本和时间医学图像相比,在OA的诊断和显示能力4,9]。

研究表明,利用只有非成象数据可以预选骨关节炎患病率(一个有前途的方法4,9]。Lim et al。9)提出了一种深度学习的深层神经网络模型(款)与八个隐藏层扩展主成分分析(PCA)对早期OA的诊断使用人口统计数据和个人信息。接受者操作特征曲线下面积(AUC) 76.8%的用款取得了PCA的分类任务预测存在和营运的风险。

与研究[9]执行两级分类,它只考虑受试者诊断为没有办公自动化OA和主题分类,Christodoulou et al。4]将主题分成3类:发病率、进步,nonexposed OA。款也调查了Christodoulou et al。4)分类和检测OA没有医学图像,仅仅根据141风险因素集。数据包括所有自我报告健康行为的数据,包括关节症状和残疾的受试者有或没有高雅从基线的访问。不同款架构测试六子组基于性别(男性或女性),年龄(低于或高于70),分别和肥胖(肥胖或nonobese)。作者讨论了创建更精确的诊断模型的子组的可能性,尤其是对肥胖患者。整体性能的基础上,与一个隐藏层和50款模式分类精度最高的79.39%。

几项研究已经集成非成象数据和OA的医学图像检测的体系结构。研究表明,包含非成像数据,如人口将改善DL模型的性能预测OA严重程度和进展(11,17,18),病变严重程度(19,20.,唯一21,甚至膝盖疼痛22]。表1介绍了用非成象数据研究。

3所示。成像深度学习

整个接头的结构特点参与这种退化性疾病包括关节空间缩小,这是间接引起的软骨和半月板损失,和软骨下骨的改变,如骨赘形成10,23,24]。非侵入性医疗成像,广泛用于表现型OA基于这些结构变化已经被证明表现良好在早期OA的检测。然而,手动分割方法最常用的是相对耗时和患有高观察者变化特别是量化生物标志物如软骨厚度或体积。也不足以执行手动分割图像数据规模很大时(8]。

人工智能和机器学习是一种有效的方法来建立全自动的算法可以识别早期OA生物标志物在众多数据集以一种标准化方式(24,25]。深度学习是一种机器学习方法,在研究领域很受欢迎,它彻底改变了计算机辅助诊断使用医学影像作为它克服了传统手工技术的需要26]。在过去几年的研究表明深层神经网络架构已广泛应用于医学图像分析和显示有前途的精度结果的分类、检测和分割任务膝关节OA的诊断。这些任务在早期发现OA发挥至关重要的作用[2,8,27]。医学图像分析工具如Imorphics(总部在曼彻斯特,英国),ArthroVision(位于加拿大蒙特利尔)和Chondrometrics(位于德国Ainring)开发基于成像生物标志物检测膝OA (8]。

应用了不同的体系结构的深度学习在不同类型的医学图像成像模式如摄影、超声波、ct和MRI诊断膝关节OA。在所有的深度学习架构,CNN建筑获得了大量的研究兴趣,尤其是膝关节OA分割和诊断(26,28,29日]。CNN的主要优点之一是,他们更容易训练和有更少的参数相对于其他架构(30.]。CNN,基本上U-Net建筑,普遍用于膝关节OA软骨的自动分割,半月板,骨头,或全膝关节解剖(31日,32]。解剖结构的分割是重要的临床实践评估疾病进展和形态变化,最近这个领域的突破是分段软骨从磁共振(MR)图像28,33]。

在OA病理生理学的研究中,有多种成像技术可用在医疗保健和研究领域的选择依赖于特定角色的形态28]。以前,平片是“黄金标准”用于初始影像学诊断评估或评估膝关节OA的严重程度。标准化的膝盖摄影OA严重阅读是Kellgren-Lawrence评分(KL-grade)。办公自动化的关键病理特性,可以很容易地通过射线照片关节空间缩小(JSN)和骨赘的形成(30.,34]。然而,摄影不仅使病人受到辐射,也无法描述各种结构性膝关节OA的表型,特别是软骨等软组织结构,这对膝OA的诊断是至关重要的(10]。

最近骨关节炎研究全自动方法大多集中于先生的图片,因为他们有良好的软组织对比度和膝关节不同的分辨率。磁共振成像也是一个非侵入性技术,不需要电离辐射(8,10,35- - - - - -37]。虽然超声成像是一种无创、便携式选项,不需要电离辐射,它的应用是有限的,尤其是在细分任务,由于低对比度和斑点噪声的存在(38- - - - - -40]。此外,膝关节OA关节疾病,这是一个3 d的复杂性。因此,MRI的3 d图像可以反映膝关节的三维结构,识别多种组织类型,因此将提供一个更好的办公条件的解释更详细结构的膝盖比二维(2 d)摄影图片14,16,34]。MRI不仅能够可视化OA生物标志物的联合组织,软骨、半月板,但它也可以提供定量分析等生物标志物的软骨体积,厚度,和生化变化根据MRI序列(3,6]。

先生有不同类型的成像序列如双能源稳定状态(一部分),涡轮旋转回声(谢霆锋),快速旋转回声(FSE),快速低角度拍摄(FLASH), spoiled-gradient回波(SPGR),梯度回波(GRE)回忆说,旋转回声谱减毒反转恢复(SPAIR)和t1加权成像与脂肪抑制序列(FS)或水激发(我们)8]。标准化膝关节MRI阅读、分数等器官磁共振成像评分(蠕虫)或MRI骨关节炎膝关节评分(MOAKS)已经开发出来19]。

4所示。知识的差距

存在多个评论,包括深度学习在OA的诊断。许多膝关节OA审查研究细分已发表(8,28,41]。最好的作者的知识,没有评论文章DL解决方法,特别是CNN分割和分类模型,特别是在3 d。数据库用于查找相关的文章是科学的网络。使用的关键词是“膝骨关节炎”和“深度学习”或“卷积神经网络”)和“3 d。”搜索结果107篇文章。我们排除了对我们的研究文章无关紧要的题目或摘要。全文阅读进行,以确保所有的文章属于本文的范围。43岁的文章搜索被排除在外。10个额外相关工作包括包括文章的引用列表。总共有74个研究进行了综述。回顾论文从表总结了搜索获得2。

现有的评论[的差距8,10,13,24,28,41- - - - - -45)是没有评论强调3 d CNN OA研究以及它的重要性。此外,大多数的审查论文集中在膝关节解剖分割方法的分类方法在OA的诊断。本文重点是进化从2 d DL模型对3 d DL模型,特别是CNN OA的诊断。CNN正在增加的适应在OA的诊断,只有CNN架构将综述介绍。这项工作提出了各类先进的CNN架构和OA的诊断方法,也涵盖了强调了研究和改善。图2说明了CNN的分类方法综述。

本文的其余部分被组织成四个部分。部分5和6审查现有的2 d和3 d架构,分别分割和分类方法。基于现有的评论,部分7探讨了3 d CNN和其潜在的性能在未来方向OA的诊断。部分8提出了本文的结论。

5。应用二维深度学习在膝关节骨关节炎的评估

5.1。分割的膝盖软骨和半月板

深度学习的研究中使用的大多数的技术在办公自动化领域是基于卷积神经网络。2 d CNN-based分割方法的摘要表中给出了在办公自动化领域3。

大多数CNN细分研究是基于U-Net架构,一个对称的编码器和译码器组成的网络,这首先学会通过卷积编码将采样,然后解码成分割面具代表upsampling图像中感兴趣的对象的“反褶积”[20.,33]。有几个统计评价指标来证明分割模型的性能如Jaccard相似系数(JSC),骰子相似系数(DSC)和马修的相关系数(MCC)。指标,DSC通常用于评估模型的预测输出图像之间的相似性对手工注释或地面实况逐像素(8]。

Kompella et al。37)采用了最先进的面具R-CNN(区域卷积神经网络)自动化股骨软骨(FC)分割从超声二维图像扫描。特性的ResNet-50金字塔网络被选为架构的支柱与地区建议网络提取感兴趣的区域(ROI)。FC然后分类使用将SoftMax分类器从ROI和结果在一个二进制面具金字塔网络使用功能。预处理图像与高斯滤波显示更好的结果,和网络pretrained可可2016图像数据集执行比网络pretrained ImageNet。

几项研究采用2 d encoder-decoder U-Net Ronneberger等提出的模型。52在膝盖间细分研究。诺曼et al。46)利用2 d U-Net段6立地的膝盖,特别是关节软骨和半月板。科目有或没有OA都包括在这项研究中。强大的DSC据报道在这个模型中,特别是三d-dess图像数据集上对所有立地介于0.753和0.878之间。自动软骨细分模式的高效运算速度平均为5秒。

类似于诺曼et al。46),如果et al。47]决定使用2 d U-Net段膝盖的骨头和关节软骨先生图像股骨,胫骨,膝,每个对应的软骨。软骨是分割得到14个解剖区域的软骨厚度。软骨的DSCs隔间从这项研究中获得0.76 - -0.87的范围。Wirth et al。31日]也用2 d U-Net分段femorotibial测试软骨软骨形态测量学纵向两次试验法的再现性,证明高DSC日冕FLASH和矢状图像密不可分。这两项研究的Si et al。47)和Wirth et al。31日),只包含主题没有OA。

克服缺乏计算需要等3 d所需内存和培训时间要求cnn对3 d卷细分任务,Prasoon et al。48]提出了一种立体像素分类系统3 d图像使用triplanar先生2 d cnn。cnn是做三个正交2 d补丁xy,yx,zx飞机的3 d图像。3 cnn被融合和美联储将SoftMax分类器来执行胫骨软骨分割。

有几个工作,集成或改进现有模型的扩展。Panfilov et al。36应用两种正则化技术,监督混合和无监督领域适应(UDA),提高现有U-Net模型分割的关节软骨和半月板。然而,报告了好坏参半的结果,混合重量衰变DSC潜在改善性能,但使用UDA相对不良是由于其计算的沉重的代价。结合使用UDA和混合的方法表现最糟糕的。Byra et al。32]演示自动半月板半月板王仁贵分割评估定量评价。使用的模型是基于U-Net架构转移学习使用3 d超短回波时间(UTE)锥序列作为输入。Self-attention机制是用来提高分割的性能。高DSC的0.860和0.833。鉴于U-Net的性能受限于预定义的损失函数,Gaj et al。49)结合两个深度学习网络修改目标函数。作者试图条件生成对抗网络(CGAN)模型在集成U-Net和业绩优秀的软骨和半月板分割用DSC 3 d-dess图像在0.84到-0.91之间。图3显示了示例的分割图像先生用不同的颜色编码不同的隔间包括关节软骨和半月板。

5.2。分割的膝盖骨头

刘等人。50]提出的自动分割膝盖骨头和软骨结合SegNet 2 d和3 d单纯形变形模型。三维可变形模型允许的和光滑的表面和形状最终分割输出。结果表明,三维可变形模型提高了分割精度的两种模型SegNet(图4)优于U-Net模型。

灵感来自刘et al。50周],et al。51]扩展模型结合3 d条件随机场(CRF) 3 d快速旋转回声先生(3 d-fse)图像数据集。3 d CRF集成作为后处理步骤,以确保准确的体素的标签。多级组织分割模型报道DSC超过0.8的组织类型,尤其是股骨,胫骨,各自和髌骨软骨以及膝盖半月板。

5.3。分类

深度学习的分类方面可以应用用于预测在三个主要领域:OA的诊断、发病症状OA, OA严重程度的分级。

5.3.1。骨关节炎的诊断进展

总结2 d CNN-based OA的诊断分类方法如表所示4。深度学习分类工作中,大多数的研究已经比较深入学习模型性能与其他机器学习方法的性能。

施瓦茨et al。12)表明,CNN模型能够检测关键特性和膝关节OA年级程度基于膝盖平片。本研究基于国际膝盖文档分类膝关节OA严重委员会(IKDC)评分系统。结果表明,当考虑成绩分别,CNN是实现组内相关系数(ICC) 0.685与外科医生。二进制IKDC D和其他分级分类显示,国际刑事法院达到0.697,略高。研究表明,CNN分类膝OA置换外科医生一样准确。

深度学习架构已被证明可行的检测电脑耗材射线OA进展。研究提出,利用射线图像深度学习模型优于传统的模型或临床模型,利用非成象数据只11,53,54]。关等。53]训练两个CNN模型VGG16和DenseNet膝盖射线照片比较他们的膝OA预测可行性与支持向量机(SVM)在非成象数据。基于支持向量机的临床模型包括人口统计学和风险因素的数据预测OA。研究表明,结合支持向量机和深度学习模型取得了最高的0.832 AUC紧随其后的是深度学习模型与AUC超过0.7的显著高于临床模型。接下来,Tiulpin et al。54)开发与ImageNet CNN pretrained模型进行多类分类预测OA进展基于膝盖射线照片。的DL然后相比,逻辑回归模型使用人口统计信息的年龄,性别,体重指数,KL-grade作为输入变量。DL模型优于逻辑回归模型的AUC为0.71。关等。11)开发了一个OA预测模型基于内侧膝盖关节空间损失放射学的发展。模型提出的组合两个联合种植深度学习的体系结构和分类,从你只看一次启发(YOLO)意思模型和DenseNet,分别。类似于(53),作者试图整合DL模型从膝盖x光照片中提取特征,然后与人口和影像学风险因素数据加入了他们的行列,形成一个联合训练模型。这种方法导致了AUC显著高于传统的模型,使用非成象数据,DL模型,加入DL和逻辑回归模型。

为了解决缺乏标记训练样本,Razmjoo et al。7提出了OA进展预测semisupervised学习。Razmjoo et al。7)提出了一个预测模型利用拓扑数据分析来构造图给图卷积网络(GCN)作为输入。OA发病率预测是通过节点标签不同的生物标志物和风险因素的受试者同时使用图论分析。作者报道,提出semisupervised预测模型是一个潜在的强大的模型。

大多数研究都是在多级离散分类膝OA严重程度没有输送的连续光谱OA进展。为了克服这个问题,暹罗神经网络是由李等。55)执行二进制分类评估OA办公自动化发展的严重程度在单个时间点。该模型实现了AUC为0.9。作者报道,与图像标签,手工定位ROI可以消除的方法。

5.3.2。骨关节炎发病的症状

表5显示2 d CNN-based分类方法的总结OA症状发作的预测。

皮尔森et al。56训练一个CNN执行算法疼痛预测(ALG-P)预测疼痛基于膝盖x射线。类似于(11),相同的作者,关et al。22),结合YOLO和DenseNet意思膝盖上执行自动化的ROI裁剪片和分类,将基于预测疼痛恶化。然后DL模型结合风险因素数据为联合训练模型。作者尝试类似的性能比较,结果表明,联合训练模型显示了深度学习和临床预测性能比模型。Chang et al。14)开发了一个暹罗网络分类的膝盖和没有痛苦从2 d矢状切片先生intermediate-weighted涡轮旋转回声。该模型实现了AUC 0.808评估膝盖疼痛。类活动映射(CAM)显著地图显示,积液滑膜炎出现在大多数地区的膝盖疼痛。

5.3.3。骨关节炎严重程度的分级

发表的大部分研究集中于利用深度学习提高OA严重程度的分级。总结2 d CNN-based分类方法提出了OA严重程度的分级表6。

大量研究利用膝关节x射线纯摄影的分类模型,不仅因为它是常见的和有成本效益的还因为OA的最重要的特征是JSN和骨赘的形成可以很容易地用膝盖x射线。此外,JSN扮演着一个重要的角色在决定根据KL-grade OA严重程度,由全球从业人员相对常用的分级(16,29日,59]。KL-grading系统(如图5)是基于地面真理分为五个等级,等级0表示没有OA, 1级表示怀疑OA和骨刺,2级显示轻度OA与明确的骨赘,三年级表明适度OA定JSN多个骨赘和可能的骨骼变形,大骨赘和4级表示严重的OA, JSN严重硬化症,和明确的骨畸形存在(29日,34]。KL-grade OA严重程度定义为一个复合分数和基于从业者的解释是主观的,因此造成一定程度的不确定性在OA的诊断26]。

为了克服这个限制,Tiulpin et al。16使用深暹罗CNN)已经开发出一种先进的方法来预测OA严重程度,提出了概率分布KL-grade并显示高亮显示的OA特性从膝盖射线照片合奏阶级歧视注意力地图。通过突出的影像学特征,模型的决策过程是透明的,因此从临床医生建立信任。作者指出,深暹罗神经网络分类模型可以更健壮的由于低数量的训练参数。该模型实现了高AUC得分为0.93分。

另一项研究[5)也有兴趣研究影像学特征识别决策使用特点映射。诺曼et al。5]采用U-Net膝盖本地化的射线照片的局部图像将用于神经网络训练DenseNet OA严重程度进行分类,分为不办公,OA温和,温和的OA,和严重的OA。DenseNet神经网络利用密集的街区,允许功能学习前层连接。凸起的地图显示,骨赘形成和关节空间缩小特征识别的网络也是OA的生物标志物。它也发现,膝盖是硬件的存在的原因之一OA严重的误分类的算法。

刘等人。58)使用更快的R-CNN,深度学习的方法,由一个地区建议网络(RPN)和快速R-CNN检测同时膝关节和基于KL-grading执行分类。项中起关键作用从平片移除不需要的细节。他们提出的模型涉及小说损失函数和更大的锚提高更快的性能R-CNN解决类不平衡和大型输入大小问题。该模型执行比R-CNN模型越快。作者承认这项研究的局限,这是一个监督学习需要大量的优质带注释的数据,以确保模型的分类精度和性能。

不仅在OA进展的预测7],semisupervised学习(SSL)也被应用于分期OA严重程度和证明其优势和有效性(23,57]。为了解决大的不足,带注释的数据集,阮et al。57]扩展模型从Tiulpin et al。16)执行semisupervised学习方法使用pi-model方法,它适应一致性正规化,以确保网络行为类似于未经数据。该方法表现的方法16)和SL模型在有限的数据环境。工作(16]也延长了阮等的研究。23),作者提出了一个新颖的Semixup算法,这也是SSL自动分类方法根据KL-grade OA严重基于膝盖射线照片。Semixup使用和out-of-manifold regularizers与插值一致性的一致性正规化。

在另一项研究中,Zhang et al。59)提出了一种先进的方法,也显示出比这更好的准确性的方法(16]。Zhang et al。59应用不同的体系结构的残余神经网络(ResNet)来执行膝盖定位和预测的KL-grade ResNet-18 ResNet-34,分别。ResNet-34从[16修改和与卷积块关注模块(CBAM)机制和建议CBAM有助于实现高精度通过生成更多的集中在射线照相功能相关区域。

大多数研究预测基于离散评分如KL-grade OA严重程度。然而,安东尼的方法等。30.)之间的预测下降使得成绩,OA进展相关。安东尼et al。30.)展示了不同的CNN模型和回归损失评估膝关节OA严重基于均方区域而不是二进制或多类分类。这是因为作者提出OA严重程度的衡量是一个持续的评价,因此,它是不恰当的对OA离散的方式进行分类。VGG16之间进行比较,vgg - m - 128, BVLC CaffeNet和训练线性支持向量机。研究结果表明,微调网络回归显示更好的分类性能损失。

梁等。60)提出了一种多任务DL模型诊断基于KL-grade OA严重程度和预测的唯一可能性9年内使用基线平片。模型是基于ResNet-34架构。该模型与基于KL-grade二进制结果模型和OARSI品位和单一任务学习DL模型。提出了多任务模型实现最佳的性能比单一任务学习模型和二进制结果模型的AUC 0.87。

与KL-grade工作作为一个综合分数,骨关节炎研究学会国际(OARSI)允许独立评分OA严重程度不同的特性。Tiulpin和Saarakkala26)开发两个深残余网络整合squeeze-excitation (SE)和ResNeXt块执行OA严重程度的预测从平片基于KL-grading OARSI分级。作者报道SE-ResNet-50和SE-ResNet-50-32×4 d作为一个整体,作为他们的最终模型,实现了AUC为0.98。金等。17)利用SE-ResNet算法比较深学习算法性能与图像数据完全和图片和非成象数据集。DL的平均AUC图像和非成象数据高于唯一的图像数据,明显对OA KL-grade 2下面的严重性。因此,通过添加病人数据,模型是显著有效的检测早期OA。

类似于前面提到的作品关于基于分类方法在膝盖疼痛11,22),陈等人。34)提出了两种深CNN的方法在膝关节OA的诊断基于KL-grading(图6)。YOLOv2网络用于本地化膝关节作为输入分类网络,ResNet的变体,DenseNet, InceptionV3, VGG架构。调整模型与拟议中的顺序执行比损失模型和熵的损失。在这项研究中,提出的VGG-19序数损失模型达到了最佳KL-grade分类性能。

尽管膝盖射线照片显示显著的性能在OA的诊断,它无法识别早期OA的最佳衡量标准早期OA只能通过关节软骨退化,发现这是一个关键的发展对形成JSN [16]。因此,最近的研究也调查预测基于核磁共振图像的严重程度分级。除了形态学特征、生化分析等T1p和T2弛豫时间值是OA的潜在生物标记物(46,61年]。分布王仁贵显示分割和分类的可行性研究。弛豫时间的测量有助于预测退化软骨和半月板的胶原蛋白水平(25]。Pedoia et al。61年DenseNet]提出了一种深度学习方法,分类的OA从图像先生通过学习一个特性,即T2弛豫时间,包括其他人口统计信息。

深度学习的大伞下,除了CNN,已应用于分割和分类各种non-CNNs膝关节OA研究。例如,条件生成对抗网络(CGANs) (62年)已经应用于膝关节分割多个组织而整体嵌套网络(HNN)表明骨分割33]。然而,non-CNNs如密集的神经网络(63年)和歧视的正规化auto-encoder (DRAE) [2)提出了分类的任务。

与此同时,Wahyuningrum et al。29日]提出了一种深度学习的方法,适用于一个CNN, VGG16,从简单的摄影和non-CNN提取功能,长期短期记忆(LSTM),基于KL-grading膝OA严重程度进行分类。LSTM是一种递归神经网络(RNN)。结果表明,该方法比先前的方法达到更好的准确性(9,16,34)与一个相对较短的计算时间。

6。三维深度学习在膝关节骨关节炎中的应用评估

所有上面提到的先前的研究利用2 d图像从3 d或2 d切片图像作为模型输入进行分割和分类。几个2 d CNN OA研究提出3 d CNN作为未来的工作或建议来提高OA的诊断。3 d网络需要更高的GPU内存和计算性能可以通过现有的技术。

6.1。分割的膝盖软骨和半月板

3 d的摘要CNN-based分割方法在办公自动化领域提出了表7。

Marzorati et al。64年)执行自动股骨和胫骨从CT图像分割提取病理OA特性。结果呈现,实现3 d-u-net骨分割表现2 d-u-net尽管更多的处理层。虽然CT提供了优秀的三维可视化,最近的3 d研究OA的诊断显示有限的注意力,CT图像和更集中在先生的3 d图像。的一个主要缺点是CT辐射暴露患者(28]。

各种DL膝盖软骨分割方法使用图像提出了先生。先生的图像序列获得大多数3 d CNN OA应用程序3 d-dess卷先生(1,3,18,21,65年,66年,68年- - - - - -70年]。

”μ网”是第一个3 d充分发展cnn膝盖软骨Raj等提出的分割。3]。网络体系结构是受U-Net开发多级细分的软骨和半月板。各种类的DSC分数达到0.785以上。一个3 d U-Net CNN是利用Chaudhari et al。65年)来执行自动化股分割比较的结果与原始图像分辨率和超分辨率深度解析和tricubic插值。结果得出结论:超分辨率比天真的插值生成一个更精确的分割。

获得定量半月板措施,策略等。66年)提出了一个3 d的膝盖半月板细分模式的基础上,结合2 d U-Net, 3 d U-Net, 3 d统计形状模型(SSM)。2 d分段的方法涉及到连接面具一个3 d的面具,导弹将删除不需要的分割区域。结果得出结论:内侧半月板挤压是一个潜在的生物标志物来预测事件OA。Ambellan et al。67年)实现方法类似于(66年)涉及与额外的SSM后处理四步法,但在细分的膝盖软骨和骨骼。DSC分数报道85.6% -89.9%和98.5 -98.6%胫骨和股骨软骨和骨骼。策略和Zachow68年)3 d U-Net适应段内侧和外侧胫骨软骨通过监督学习方法。作者宣称,这种方法比其他方法在关节软骨分割3,66年,67年]。

不仅3 d形态,而且定量评估,如软骨厚度(69年]和T2 [6]值需要分割相关的办公隔间是重要的迹象。Iriondo et al。69年)已经开发出自动分割和软骨厚度测量算法执行OA轨迹分析。的分割性能获得了DSC得分0.874半月板和关节软骨的0.850 - -0.890。不稳定的研究验证,膝盖软骨厚度变化率可能代表OA发病。

Razmjoo et al。6)利用3 d V-Net执行自动软骨分割和量化的T2值。五个软骨隔间分段DSC得分为0.57 - -0.75。谭et al。70年)开发了一个3 d V-Net-like结构化分割网络学习与协作,FC, TC, PC分别分段和融合ROI-fusion层。图7显示的可视化结果的3 d软骨分割方法(70年]。解决缺少手动分割训练期间,徐和Niethammer27]提出DeepAtlas,共同学习弱监督图像配准和semisupervised图像分割。从光分割模型定制3 d U-Net尺寸较小的功能设计,以适应GPU内存的限制。

2.5 d多平面CNN允许结合3 d空间信息来自几个正交图像平面(51]。李等人。71年)进行了最先进的软骨分割提取软骨的骨软骨复杂的面具。平均2.5 d分割是通过多个细分面具与多数表决在不同的计划。BCD-Net提出与DSC结果分数股骨和胫骨软骨的98.1%和83.8%。

6.2。分割的膝盖骨头

的作者(1,18]证明了骨骼的形状可以作为预测OA生物标志物。股骨、胫骨和髌骨分别转换成二维球面映射,然后融合形成一个三通道图像作为输入到分类模型。马丁内斯et al。1)修改3 d V-Net架构来预测OA发病率仅基于骨骼的形状。ResNet利用分类模型,因为它比其他架构较低的训练参数。马丁内斯et al。18)得出的结论是,将人口数据与骨骼形状特性提高OA预测精度。

6.3。分类

有相对有限的研究3 d分类任务,和先生的任务主要是基于图像。3 d的摘要CNN-based分类方法在OA字段显示在表中8。

Tolpadi et al。21]介绍了3 d DenseNet执行OA严重程度预测和唯一的预测从核磁共振图像。这是第一个研究应用3 d CNN预测唯一,基于办公自动化程度。本研究表明,3 d图像输入超过2 d摄影图像先生在模型中输入。作为软组织的磁共振成像允许可视化,它有助于更好的管道性能,作为唯一的生物标志物识别内侧髌韧带,腓肠肌腱,和跖肌肌肉,这是更复杂的比确定OA进展。模型的AUC显著提高当非成象数据分类中包括管道。

Pedoia et al。20.]证明检测半月板和软骨病变使用完整的CNN对OA严重程度进行分类。自动分割的半月板软骨和使用2 d U-Net并送入3 d CNN病变严重程度分类。与研究[20.)利用2 d CNN, Nunes et al。19)两种3 d V-Net方法应用于优化11类分割任务。这项研究在19]小说多任务OA损伤检测方法,结合2 3 d-cnn DL分类模型来确定软骨病变(CLs)和骨髓水肿病变同时(BMELs)。模型输出3类蠕虫模型后,将人口统计数据集成到模型。的研究(19,20.使用高分辨率的三维快速旋转回声(FSE)立方体序列,包括人口统计显示最优性能。

不仅在办公自动化领域,3 d CNN也被应用在检测前交叉韧带(ACL)损伤图像先生(72年]。此外,ACL损伤是膝关节OA的高危因素。Zhang et al。72年)表明,3 d DenseNet超过VGG16和ResNet由于其低复杂度和优秀的anti-overfitting性能。

7所示。讨论

在过去的几年中,深度学习成为学术界的一个热门的研究领域,特别是在医学影像领域。在这项工作中,我们提供了更新的应用各种CNN方法分割和分类模型。大量的出版物在CNN模型在OA研究单独使用或结合其他策略,如non-CNN或导弹。集成方法所取得优秀的成果,显示很好的结合不同的技术提高CNN的性能。

从我们的评论,很明显,大多数研究使用普通摄影作为分类OA体系结构输入。然而,膝关节是多维的变化;因此,3 d图像将提供一个更好的表现比2 d图像联合变化。此外,OA进展的关键指标之一涉及到界定关节软骨(股骨软骨、胫骨软骨和髌软骨),它是不可见的射线照相。3 d形态和定性评估软骨中扮演重要角色的OA的评价(70年]。

尽管核磁共振的理想形态OA评估考虑其优秀的软组织对比度,使先进的3 d生物标志物软骨可视化、缺乏MRI三维CNN申请OA的诊断(20.,21]。我们发现出版在mri分类模型是有限的,这可能是由于缺乏认识或可行性的mri评分比KL-grade广泛应用于临床实践。MOAKS和蠕虫得分是基于multifeature先生的图片,提供一个更可靠的评价整个膝关节。因此,使用三维核磁共振方法在临床实践和研究应该鼓励。的原因之一,这种技术还没有得到最终用户的追随者是计算复杂度。

分析膝关节在3 d视图显示一个精确的3 d结构的关节,特别是关节软骨,OA疾病的更好的可视化。3 d图像本身可能包含非成象数据预测先生等痛苦的经历。先生也证明,3 d图像导致管道性能优于2 d射线照片,敏感性和特异性较高的尤其是在早期OA检测(21]。然而,最近的研究集中在2 d CNN架构或采用只有子卷的3 d图像到三维CNN作为妥协的可怜的可用性计算大小和有限的GPU内存(28]。先生3 d图像通常是高分辨率和大尺寸的简单适应架构可能是不适用的3 d CNN (21]。增加模型的复杂性可能会提高性能,但它会导致模型的训练需要大量计算能力和计算的成本是昂贵的。尽管3 d CNN(计算起来更具有挑战性64年),3 d CNN模型显示相似的精度性能计算机辅助诊断的专家(68年]。因此,未来的研究可以探讨优化3 d cnn通过减少体系结构的复杂性和训练参数。也有潜在的进步表现,通过训练模型和最优学习参数。此外,最近,有一个节约内存解决方案提出的3 d图像分割,海因里希et al。73年)这可能导致出现更多的3 d CNN研究[67年]。

8。讨论

人工智能已经显示出优秀的相似性与人类专家的性能检测和分类的应用OA的诊断,特别是深度学习在智能学习功能直接从原始数据。这将是一个开放的挑战在3 d CNN使用MRI图像OA的诊断。首先,有各种类型的三维核磁共振成像序列已被使用在不同的研究中,使直接比较的方法不适用的MRI序列可能影响结果(20.]。这使得研究及其方法之间的比较困难。第二,缺乏大规模地面真理(8]。地面真理都是手工注释医学图像由专家用来评估的性能计算模型。数量有限的地面真理可能导致过度拟合的模型。一个潜在的方法来消除由专家需要分段良好的地面实况图像替换分段良好的地面实况图像提出地面实况图像。提出地面实况图像更容易获得,因为分成隐伏露头图像是比执行pixelwise简单分割74年]。最后,它是缺乏一个标准的数据库作为不同的数据库可能会影响产生的精度模型(28]。为了克服这个问题,等公共数据库的OAI的可用性,得到了广泛的应用,包含巨大的数据集,适用于未来的研究来比较他们的模型。然而,为了确保通用模型的适用性,它是鼓励采用独立的图像数据集被包括在任何DL模型的测试数据集36]。

9。结论

本研究评论深度学习的进化从2 d到3 d是一个有前途的工具computed-aided膝关节骨关节炎的诊断疾病。骨关节炎诊断的常规方法是通过分析医学图像可视化,手动评估很难识别最轻微的早发性骨关节炎的进展。这就是人工智能的作用。总之,深度学习重要的承诺在骨关节炎临床决策的发展援助。

依据上述文献,CNN在医学成像研究近年来先进的显著,在OA的诊断已经显示出巨大的潜力。扩展可用性的先进的计算能力和数据可用性,3 d深度学习可能会大大提高膝关节骨关节炎的早期诊断。以来这是重要的在骨关节炎诊断膝关节的三维图像允许评估从不同的飞机和疾病提供准确信息的适度发展。然而,开发一个健壮的和广义3 d CNN在诊断应用程序仍然是一个挑战性的任务,仍然是一个开放的研究领域,不仅考虑模型的精度,而且计算效率。即使3 d CNN的应用仍然处于初步阶段,我们设想的发展3 d CNN方法基于图像先生将在办公自动化的发展提供更好的理解疾病,特别是在膝关节OA的早期检测。临床实践的未来可能利用3 d自动化临床应用接受新的可能性,不仅检测生物标志物还显示性能优良与临床专家OA的早期检测。

数据可用性

本研究中使用的所有数据列表中可用的引用。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者要感谢中国高等教育的资金支持马来西亚和马来亚大学》项目(德意志联邦共和国/ 1/2018 / TK04 /嗯/ 02/9)和UTAR研究基金(IPSR / RMC / UTARRF / 2020 - c1 / H02)。