文摘

准确评估二尖瓣返流(MR)严重程度在临床诊断和治疗是至关重要的。没有一个超声心动图方法推荐量化先生到目前为止。我们试图定义的可行性和准确性的面具地区卷积神经网络(面具R-CNN)算法在自动定性评估使用彩色多普勒超声心动图先生的图片。作者收集的1132例,从医院和295例从医院B先生和把他们分为以下四种类型根据2017年美国超声心动图(ASE)指南:一级(轻度)、二级(中度),三级(中度),和等级IV(严重)。二级和三级都是温和的。图像标记与LabelMe软件后,基于深度学习的方法使用面具R-CNN算法(DL)是用来评估严重性先生。我们使用的数据从医院构建人工智能(AI)模型,进行内部核查,我们使用的数据从医院B外部验证。根据严重程度,分类精度为0.90,0.89,0.91,温和,温和,分别和严重的先生。F1的宏观和微观F1系数分别为0.91和0.92,分别。根据分级,分类精度为0.90,0.87,0.81,和0.91级,二级,三级,分别和四年级。 The Macro F1 and Micro F1 coefficients were 0.89 and 0.89, respectively. Automatic assessment of MR severity is feasible with the Mask R-CNN algorithm and color Doppler electrocardiography images collected in accordance with the 2017 ASE guidelines, and the model demonstrates reasonable performance and provides reliable qualitative results for MR severity.

1。介绍

二尖瓣返流(MR)是一种常见的心脏瓣膜条件。2016年美国的一项研究在美国心脏协会(AHA)估计,温和的先生或者更糟的发生率是1.7%,也就是大约4倍高于主动脉瓣狭窄(1]。此外,随年龄增长,发病率和比例能达到10%的人口超过75岁(2]。治疗方法根据不同程度的先生根据协会心胸外科国家数据库,二尖瓣手术的数量每年平均增加了4%在2010年和2015年之间。在决定哪些病人适合二尖瓣手术(MV),美国心脏病学会的指导方针(ACC)啊哈,心脏瓣膜病的管理强调的严重性先生(3]。因此,准确评估的严重性先生是至关重要的临床决策,预测和决策的时机手术治疗(4]。经胸廓的超声心动图(TTE)是最重要的成像方法,诊断和评估由于其广泛的可用性、低成本、可接受性和安全性5]。然而,先生评价参数列在2017年美国超声心动图(ASE)的指导方针是众多而复杂的,在实践中是非常具有挑战性的使用(6]。目前没有一个推荐先生评价方法在此设置。在此,我们试图验证一个方便的和自动的方法评估严重性先生。

自约翰·麦卡锡首次提出“人工智能(AI)”在1956年,研究者们努力将人工智能应用于几乎所有的临床实践阶段。目前,人工智能领域的超声医学的发展提高超声诊断的准确性,减少误诊率,满足日益增长的临床需要是一个热门的研究话题。深度学习(DL)是人工智能的一个子集的灵感来自于人类大脑的运作,通常被称为一个人工神经网络(ANN) [7]。卷积神经网络(cnn)的亚型ann模拟视觉皮层。CNN的地区特性(R-CNN)应用CNN在对象检测。提高效率,快速R-CNN结合了特征提取,分类,和边界框R-CNN预测,并采用了一种方法称为地区感兴趣的池(RoIPool) [8]。然后,研究人员开发出更快R-CNN,相似的精度快速R-CNN,但训练时间和测试时间较短的10倍。他等人提出了一种新的方法称为面具R-CNN 2017年,通过添加分支扩展速度R-CNN用来预测roi的分割掩模在每个分类与现有分支和边境返回帧(9]。快R-CNN相比,面具分支只会增加计算开销小,使其能够快速系统和快速实验。因此,我们的研究选择了面具R-CNN算法。这样一个人工智能系统,有巨大的潜在诊断的有效改进。

我们旨在评估的可行性和准确性,严重程度与人工智能检测数据模型使用彩色多普勒超声心动图先生的图片收集基于2017 ASE的指导方针。

2。方法

2.1。彩色多普勒超声心动图先生成立情况数据库
2.1.1。超声波仪器

超声波是由超声心动图使用飞利浦超声机(EPIQ 7 c,飞利浦医疗系统,十分佤邦),通用电气超声波机(生动E95,通用电气医疗系统、兄弟、挪威),和西门子超声波机(美国SC2000,西门子医疗解决方案,Inc .)。

2.1.2。病人和图像分类标准

本研究涉及来自不同地区的两个大型综合医院的数据。医院是山东省第三医院,医院B是皖南医学院第一附属医院。两家医院的机构审查委员会批准了这项研究协议和放弃需要知情同意由于潜在的伤害最小。

超声心动图都经验丰富,工作五年多,经历了彻底的专业培训前的研究。根据先生的定量方法评估从2017 ASE指南(见图1)的严重程度,可分为三种类型:轻微、中等和严重。这个分类是相对广泛,不能反映的严重性之后,先生先生进一步subclassified分为四个等级:一级(轻微),二级(中度),三级(中度),和等级IV(严重)。总共有1132和295例先生从医院和医院收集B,分别从2019年1月至2020年12月。有一个类似的病例数为每个年级。2017年ASE指南提供不同的分类标准长期使用彩色多普勒超声心动图先生:缩脉(VC)、有效的回流的孔(ERO),回流的体积(RVol)和返流分数(RF) (6]。风险投资是一个参数用于确定回流的孔。获得风投,我们测量最窄宽度的喷气孔的出现胸骨长轴视图的缩放模式。在确定ERO,重要的是仔细测量近端等速表面积(PISA)并获得最大的比萨半径在高峰的时候,速度。获得最半球收敛流动,我们调整降低奈奎斯特极限30 - 40厘米/秒。奈奎斯特极限应设定在50 - 70厘米/秒时测量射频。RVol测量多个飞机或古怪的飞机,因为它是更准确。彩色多普勒超声心动图从标准获得的图像是二维(2 d)顶端4-chamber TTE的观点或标准视图与最返流。


图1
算法的集成多个参数,严重的多普勒超声心动图改编自ASE 2017。
2.1.3。排除标准

例排除如果图像质量很差或TTE图像不能清楚地显示出来。

2.2。形象标志

LabelMe软件(3.167)被用来划分先生感兴趣的区域(RoI)在超声图像自动分析机DL技术。LabelMe如图的工作流2。在“注释”步骤,跟踪先生的轮廓,越准确越好(见图3)。


图2
LabelMe的工作流。(一)我们的本地计算机上创建数据集。(b)对每个图像执行注释并保存注释结果按“保存”按钮。(c)为每个图像,得到一个。json文件,其中包含了创建标签。

图3
轮廓先生的例子。(模拟)Ⅰ级的先生的原始图像,Ⅱ级,级Ⅲ、Ⅳ级。(情况)的等值线图,追踪LabelMe软件对应(模拟)。
2.3。数据模型的建立和验证
2.3.1。网络体系结构

面具R-CNN是对象的方法可以区分不同对象的检测和分割图像和画边框(bbox)在特定的对象。它也可以马克和目标分类和识别其他检测要点。网络体系结构是构建在Google TensorFlow框架,和网络架构的面具R-CNN算法如图4。我们定义了一个多任务损失在每个采样RoI 。分类损失( )和边界框的损失( )中定义的方法都是相同的速度R-CNN [8]。


图4
面具R-CNN的网络体系结构。

平均二叉叉的损失。

损失函数值( ), ,在面具R-CNN最小化。

2.3.2。网络的训练和测试

面具R-CNN先生被训练使用超声图像。先生从医院获得的图像组成的数据集,以及图像从医院获得B先生由数据集B数据集用于训练的人工智能模型。确保模型的准确性和稳定性,我们使用数据集B来验证模型。数据集,数据集B的比例大约是8:2。每个年级的比例在两个数据集也大约8:2。训练模型在测试集预测应用。训练参数设置如下:骨干和地区建议网络(RPN)、学习速率为0.001;R-CNN和面具,学习速率为0.0001。在整个培训过程中,动量是设置为0.9和随机梯度下降优化器使用。监控设定的学习速率和动量都在训练。低的学习速率,改善将是线性的。

2.3.3。评价指标

人工智能模型的整体性能的评估严重性先生与精度验证,精度,还记得,F1-score, F1宏观和微观F1。

准确性例子的数量的比例是一致的结果总数的2017 ASE指南和示例。

宏F1。分裂的评估 分类成 两分的评估,计算每个两分的F1-score, n F1-scores宏观F1的平均值。

微F1。除以n的评估类别 两分的评估,并添加相应的TP, FP和RN的 两分的评估计算精度和召回。F1-score从这些计算精度和召回是微F1。

TP是真阳性的数量,FP是假阳性的数量,和FN假阴性的数量。

3所示。结果

在这项研究中,1132年,超声图像(288级,278二级,三级270,和296年的等级IV)在数据集,295年,超声图像(82级,75二级,三级74,和64年的等级IV)在数据集B终于应用。基线人口统计学和TTE的特点,总结了研究病人表1。

表1
病史、临床表现和基线TTE特征研究的患者。

图5显示了模型性能评价指标和结果。总损失为0.0493,bbox损失为0.0055,该类损失为0.0012,掩盖亏损为0.0427。


图5
模型性能评价指标和结果。横坐标轴是时代,纵轴是损失。这四个纵坐标代表bbox损失、类损失掩盖损失,分别和总损失。

图6显示了四个测试例子先生严重程度的评估。数据6(一)-6(d)分级先生描述的评价方法获得的图像在2017日月光半导体的指导方针。数据6(e) -6(h)使用这个人工智能模型,测试的结果与获得的结果相一致的评价方法中描述2017年ASE的指导方针。


图6
测试评估严重性先生的例子。(模拟)先生2017年ASE的定量评价方法获得的图像指导方针。(情况)的评分结果面具R-CNN算法。4例的自信成绩0.987,0.986,0.997,和1.000,分别。

图7先生展示了混淆矩阵的分类和分级结果的验证。根据严重程度分类的精度为0.90,0.89,0.91,温和,温和,分别和严重的先生。分类的精度等级为0.90,0.87,0.81,和0.91级,二级,三级,分别和四年级。


图7
混淆矩阵的分类结果和评分结果先生横坐标轴是参考结果通过2017 ASE指南,和纵轴表示这项研究模型的结果。识别意味着模型不能认识到这一点。

图8显示精度的比较直方图、召回和F1-score之间(图分类索引8(一个)根据严重程度分类,图吗8 (b)根据分级分类)。根据严重程度分类的精度为0.94,0.93,0.87,温和,温和,分别和严重的先生。根据分类的精度等级为0.94,0.88,0.88,和0.87级,二级,三级,分别和四年级。召回的分类根据严重程度为0.94,0.90,0.92,温和,温和,分别和严重的先生。召回的分类根据等级是0.94,0.89,0.82,和0.92级,二级,三级,分别和四年级。的F1-score分类根据严重程度为0.94,0.91,0.89,温和,温和,分别和严重的先生。的F1-score分类根据等级是0.94,0.88,0.85,和0.89级,二级,三级,分别和四年级。它可以观察到,这个模型产生令人满意的精度,召回,F1-score先生严重性的评估结果。

(一)
(一)
(b)
(b)
图8
比较精密的直方图,召回,F1-score之间分类索引((一)根据严重程度分类;(b)分类根据评分)。

表2显示了F1宏观和微观的比较结果F1在每个分类。这显示了一个令人满意的分类结果。

表2
F1宏观和微观的比较结果F1在每个分类。

4所示。讨论

我们验证了面具R-CNN算法评估先生的严重性。本研究证明了面具的可行性和准确性R-CNN先生的定性评估,并演示了算法的合理性能模型。

tcl -汤姆逊先生是最常见的成像技术,严重程度和确定病因。尽管许多最近的研究表明,2 d技术不是最准确的方法来定量评估先生,2 d TTE技术是目前最常用的方法,定量评价先生与心脏磁共振(CMR)相比,多角度(t)和3 d TTE技术(10]。然而,目前没有一个超声心动图参数足够精确的量化先生需要集成多个参数更准确的评估严重性先生(11]。当多个参数整合,严重程度,特别是轻微和严重的先生,可以确定高的信心。先生在我们的研究中,所有成绩由两位独立测定超声心动图根据2017年的ASE的指导方针。有必要强调从不同的参数一致的证据时,很容易级严重性先生与信心。矛盾的不同参数时,必须仔细观察技术和生理因素来解释差异和重复测量根据2017年的ASE的指导方针。如果这种差异仍然存在,第三个调查员的建议作为参考。测量的误差是可以预防的。

目前人工智能是一个强大的技术动力。增加工作已经由医学超声专家、数学家,计算机科学家,促进一体化的超声波,医学,和人工智能,从而提高超声诊断的准确性,减少误诊率,缩短报告时间,满足日益增长的临床需求(12]。

艾未未先生的评估已经取得了一些进展;在这里,我们回顾一些最近的研究。先生的许多研究诊断进行了调查心音(HSs)。Maglogiannis等人使用多普勒心音(DHS)数据与小波分解,后跟一个三步诊断阶段基于支持向量机(SVM)分类器对心脏瓣膜疾病进行分类。报告的准确性对主动脉瓣狭窄()和分类先生是91.67% (13]。Safara等人开发了一个多层次的基础上选择(mlb)方法与支持向量机分类器分类正常先生和基于“增大化现实”技术的样品,和分类的准确性为97.56%14]。还有一些其他的人工智能研究先生的检测一个智能诊断系统基于自动诊断心脏疾病的诊断特征提取由Sun可能歧视的准确性达98.4%[先生15]。Kwon博士和他的同事们开发和验证一个AI算法检测先生使用心电图(ECG);他们展示了一个有前途的人工智能算法的性能对准确检测。在内部和外部验证,精度检测先生是0.816和0.877,分别为(16]。

然而,上述研究只使用人工智能算法来检测先生,并没有进一步的定性研究。最近,一些研究集中在使用自动检测方法检测先生的严重程度。Moghaddasi和Nourian开发了一种新的方法,评分,根据小说结构特性与机器学习方法(17]。该方法取得了令人满意的精度检测的严重性先生在正常科目。这种方法是基于超声心动图视频。在他们的研究中,先生是分为三种类型:轻微、中等和严重。他们没有进一步细分温和的先生为二级和三级。这并不反映的严重性先生。Uretsky等人的研究强调CMR的准确性和再现性量化先生和CMR临床结果(已经开始联系18]。然而,在日常实践中,CMR不广泛使用,是耗时的。此外,在一些紧急情况下,CMR不能是第一选择,在一些病人有禁忌症。一些研究也指出,衡量三通先生的程度比这更准确的衡量TTE。米利塔鲁等人评估的准确性,体积与三维彩色多普勒三通量化使用新的半自动的软件。启用了新的软件半自动的3 d流量化复杂先生先生与多个偏心飞机和显示一个满意的结果19]。然而,三通是依赖于运营商和semi-invasive,通常要求病人镇静(20.]。它是不适合常规的检查。

在我们的研究中,当根据严重程度分类,我们取得了精度为0.90,0.89,和0.91,根据分级分类,我们取得了精度为0.90,0.87,0.81,0.91。分级分类中,三级精度最低,这主要是因为三级的特点有一些重叠严重,模型验证的特点,识别的成绩我达到了0.04,这可能是因为VC年级我的一些图片太小了。我们的模型也得到更好的精度,还记得,F1-score, F1宏观和微观F1。所有这些表明,我们的模型具有良好的性能。在收集的过程中情况下,定量方法识别先生在2017 ASE指南是耗时的,对于每一种情况下,花了几分钟拍照需要获得结果。第四年级我和年级花不到10分钟进行分类;然而,二级和三级超过10分钟(见下表1)。这是因为当 厘米, 厘米,或其他明显的条件存在(图1),很容易确定先生是轻微或严重的和不需要进一步评估。相比之下,评估严重性先生与我们的人工智能模型需要一个短的时间,这将大大减少工作时间。这可以显著提高医生的工作效率。

在这项研究中,我们设计了一个实验数据集和验证集。医院和医院B在不同地区,和医院都是大型三级综合医院。这可以有效地解决地区差异的影响。三个常用的和知名品牌的超声波机器被使用,所以性能的准确性和质量是好的。结果证明我们的人工智能模型是普遍适用的,具有良好的性能和精度高。更重要的是,它大大缩短了诊断时间。由于这些优势,这个人工智能模型有可能在日常临床实践中用于诊断。

5。结论

准确评估的严重性先生是临床治疗的关键。在这项研究中,我们选择了面具R-CNN算法定性评估使用彩色多普勒超声心动图图像收集基于先生2017年ASE的指导方针。这表明,模型具有良好的性能,可以评估的严重性先生具有良好的精度。因此,与超声心动图图像和DL先生的结合,分析心脏相关参数所需的时间减少,可以加快和临床决策。这个模型可以作为评估严重性先生的新工具。

数据可用性

的数据支持本研究的发现可以从相应的作者在合理的请求。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Qinglu张、刘Yuanqin和贾小姐的贡献同样本研究和分享第一作者。

确认

这项工作是攀登科学基金支持的项目管理员的皖南医学院第一附属医院(PF2019008,申请人:Xiangming Zhu)。