文摘

人造支架植入术是治疗冠状动脉疾病最有效的方法。关键在于,血管医学成像,如血管内光学相干断层扫描(IVOCT),能够有效地跟踪支架在血管的位置。我们训练了两个模型,“你只看一次”版本3 (YOLOv3)和提出完全卷积网络(R-FCN),分别检测金属支持struts IVOCT。旋转后的原始图像训练集的数据,和修改常规锚箱的规模大小的两个算法以适应目标昂首阔步,YOLOv3 R-FCN实现精度,召回,美联社在0.4借据阈值高于95%。和比YOLOv3 R-FCN执行所有相关指标。

1。介绍

冠状动脉疾病(CAD)是最常见的死亡原因之一,尽管是可以治愈的。治疗阻塞性斑块,支架是常用的金属裸支架(BMS),药物洗脱支架(DES),或者bioresorbable血管支架(bv)。植入后,支架必须评估检测位置不正或endothelialisation。血管内光学相干断层扫描(IVOCT)是一个必要成像的分辨率和对比度,使之能够准确测量腔的架构和neointima支架覆盖。图1显示了一个金属支架植入后IVOCT图像帧。然而,由于回落IVOCT图像序列的单个病人通常包含图像和成千上万的struts,它是劳动密集型和耗时的手工为每一个病人进行定量评价。因此,全自动金属支柱分析方法非常满意。到目前为止,几种不同的策略(1- - - - - -19)已经提出了IVOCT支架支柱候选人的检测和去除假阳性。

由于金属struts作为高反射点其次是落后于阴影出现在IVOCT图像,如图1,大多数算法寻找这些特性来检测支架struts (1]。陆et al。2训练一个袋装决策树分类器,使用特定的特性从图像中提取对候选人支架struts进行分类。汉et al。3)应用拉普拉斯算子的过滤器在极坐标图像映射到提取角落和边缘,然后使用强度阈值来确定支架struts。南et al。4)检测到的候选人struts IVOCT强度图像和梯度图像,然后通过使用一个隐藏层和一个struts ten-node人工神经网络确定候选人。Migliori et al。5)分类像素与高斜坡候选人struts和应用罚函数从腔轮廓结构。

替代方法为支架支撑检测。可调滤波器是由徐et al。6)计算当地脊强度和方向定位深埋地下的struts。王等人。7)使用贝叶斯网络和相邻帧的支架网信息来确定位置的struts的a。他们利用图切割算法同时定位准确的struts IVOCT回调的深度位置。

近年来,深度学习框架取得了优秀的成果在计算机视觉物体检测和识别领域,它已经吸引了越来越多的关注,并导致更多的研究基于这个框架。传统的机器学习方法依赖于手工设计特性。不同的是,小说表达模式或模型自动从低层特征到高层语义深度学习,这常常使检测性能更稳定更健壮。bv检测IVOCT图像中基于深度学习最近报道。曹et al。8)构建提出完全卷积网络(R-FCN)探测器在IVOCT bv检测图像。周et al。9bv)提出了一个自动检测方法基于一个u型的卷积神经网络。Gessert et al。10可以预测图像片含有金属是否支持,bv,或者不包含任何设备只使用映像级别标签由一个训练有素的卷积神经网络,分类精度达到99.0%。然而,很少有基于深度学习的方法来检测金属支架。有鉴于此,在本文中,我们尝试使用两个深度学习对象检测模型来检测金属支架和比较性能。

传统的深度学习模型对象检测分为两种类型:单级和两级。YOLOv3和R-FCN分别这两种类型的典型算法,也经常用于医学领域。吴et al。11)建立了一个深度学习模型(BMSNet) YOLOv3架构协助血液学学者的解释骨髓涂片更快的诊断和疾病监测。公园等。12)各种最先进的深度学习架构的性能相比,包括YOLOv3,检测视神经头部和垂直cup-to-disc比率在眼底图像。Safdar et al。13)强调了最合适的数据通过使用YOLOv3增强医学成像技术。吴et al。14]调查潜在的使用主成分分析(PVA)和自适应中值滤波器(AMF)改善四个算法,包括R-FCN和YOLOv3。Zhang et al。15)提出了一个新颖的异常区域检测方法基于R-FCN宫颈癌筛查。莫雷尔et al。16)提出了一个基于神经网络架构R-FCN适合乳房x光片。

自YOLOv3 R-FCN表现良好在医学领域,我们在本文中使用金属支架struts检测,试图系统地比较这两个模型的性能。我们也意识到数据扩充现有的训练集,通过图像旋转提高利用大数据的特征提取。探索使用锚箱在专业领域,我们也调整了大小适合金属支架struts的检测: - - - - - -在R-FCN意味着集群YOLOv3,手动固定。

2。材料和方法

2.1。数据集

运行验证算法,十回调是IVOCT成像系统从一个基准研究。紧缩的速度是15毫米/秒。所有的支架都是金属支架。总支架长度是21 2.17毫米。不同的患者参与了这项研究是相互独立的。如图1,IVOCT图像包含支架、导成像导管防护套,血液制品,腔边界。协助医务人员判断位置和支架的性能,我们需要确定这些复杂的金属支架自动背景。有165 IVOCT图片,每个图片都有大约3∽22金属支架struts,已手动标记的所有支架struts地面真理的矩形帧。

2.2。深度学习目标检测模型

有两种类型的对象检测深度学习模型:单级和两级。两级对象检测策略包括:(i)地区的提议,和(2)地区分类。典型的两阶段模型包括R-CNN [20.),快R-CNN [21),快R-CNN [22],R-FCN [23]。单程模型是一个端到端的算法。它不需要直接生成候选帧和帧定位对象的问题转换成一个回归的问题。典型的1-stage模型包括YOLO系列(意思24- - - - - -26]和SSD [27]。一般来说,基于候选区域的方法具有较高的准确性,但端到端方式具有明显的速度优势。摘要R-FCN YOLOv3相比,他们是用来检测金属支架的struts IVOCT形象。

2.3。YOLOv3

考虑到输入图像,YOLOv1直接返回对象的边界框及其类别在图像中多个位置。YOLOv2 YOLO9000介绍锚箱的抵消和信心来预测锚箱而不是直接预测坐标值。通过添加一个直通层,高分辨率浅功能连接到低分辨率特性融合和检测。YOLOv3检测对象分别在多个融合特征图谱,可以改善小对象的检测效率。同时,使用多个物流分类器分类,而不是softmax分类器,用于解决在YOLOv2 multilabel分类问题。

2.3.1。整体架构的YOLOv3

YOLOv3的网络架构(图2)分为三个部分:darknet53特征提取,特征融合YOLO层意思,分类和位置。Darknet53共有53个卷积层,和其余的残留层。YOLO层意思用于功能融合生成三个规模特征图。需要从早些时候网络特征图和合并upsampled特性使用连接。对象进行分类和定位的特性融合三个尺度的地图( , ,或 ),分别检测不同大小的对象。

2.3.2。统一检测YOLOv3

以 融合特征地图为例,YOLOv3将地图划分为 网格。如果一个对象的中心落入一个网格单元,网格单元负责检测对象。每个网格预测三个边界框,因此,返回 张量,其中四个边界框补偿,一个信心得分,C类条件概率。四个边界框补偿参考补偿从给定的锚箱。每个规模需要三个锚盒子边界框之前,所以总共9锚箱集中从我们的数据集。包括所有细胞、规模特征映射输出 张量。添加的输出 和 规模特征图谱,我们得到的 张量。

如图3,四个边界框补偿 可以转化为中心坐标 和宽度和高度边界框的公式: 在哪里和前框的宽度和高度,和的补偿责任网格图像的左上角,然后呢是乙状结肠函数。

客体性的分数反映了信心,网格单元包含对象和预测的准确性,单元格包含对象,

有细胞中的对象时,对象的分数就等于十字路口在联盟(借据)之间的边界框和地面的真相:

C类条件概率条件在网格单元包含一个对象。最后一类是信心

2.3.3。培训YOLOv3

最后损失函数将总结三个尺度上的损失。在训练过程中,每个规模包括定位误差的误差函数,信心的错误,一个分类错误。使用公式(1)- (4)逆四坐标 对应于地面真理在细胞 ,我们可以计算SSE预测相应的坐标 定位误差。YOLOv3使用逻辑回归来预测信心得分 ,和实际得分之前根据边界框的借据和地面真理。然后,预测和实际的二进制叉分数是信心丧失信心。YOLOv3使用独立的物流,而不是softmax作为分类器。对于每一个类别,二叉叉也作为损失函数。两个参数和可以调节失去平衡从边界框协调预测和失去信心的预测不包含对象的盒子。最终的损失函数 在哪里网格细胞的数量,是锚箱的数量。通过最小化损失函数学习的权重,我们可以获得边界框的位置和类别的预测。

2.4。提出完全卷积网络(R-FCN)

R-FCN是一个典型的两级对象检测方法。在第一阶段,区域建议网络(RPN)用于生成候选RoI区域建议。在第二阶段,R-FCN使用位敏得分映射到roi合成不同位置的特点,网络可以解决困境之间的平移不变性在目标检测的分类和翻译方差。同时,所有层卷积可学的重量,可以计算在整个图像。最后,整个网络的结构达到完整的卷积,从而大大提高了效率。

2.4.1。整体架构的R-FCN

金属支架的整体架构支撑检测基于R-FCN如图4。后提取特征通过一系列Resnet-50曲线玲珑的地区建议网络(RPN)使用一个小滑动窗口和锚盒子生成候选区域地图上一个整体特性。金属支架支柱和背景,整个图像的特征图,分别连接 位敏得分由卷积地图。结合9位敏的RoI池分数,类别概率相应RoI可以投票。四个定位参数表示的抵消锚盒子也得到类似的投票。训练后的网络,R-FCN输出调整新职位和金属支架支撑roi的得分为“R-FCN输出。“如果每个RoI的类别分数小于分数阈值,我们删除这个边界框“阈值输出。“剩下的边界框仍然有很多重叠。运行一个nonmaximum抑制(NMS),只有得分最高的边界框保持借据超过一定的阈值。剩下的边界框是最后的“检测结果”。

2.4.2。地区建议网络(RPN)

项使用一个完全卷积网络输出一组矩形区域建议立即对整个功能映射。滑一个小滑动窗口功能映射,并使用每个区域位于作为输入。如果( )锚箱作为回归参考,每个滑动窗口将输出4 k协调回归 和2 k边界框分类的概率估计每个建议的对象。

项损失函数由两部分组成,日志分类损失,顺利回归损失: 在光滑的被定义为

, 的输出是锚的分类和回归层。培训期间,我们将标签分配给锚基于锚的借据和地面真理盒子。正面的标签1,负面的标签是0。向量是地面实况框位置与积极的锚。

RPN只有依靠single-scale形象和特征映射,使用单一尺寸的滤波器,从而生成一个地区平移不变的提议。共享功能,不需要额外成本处理对象的规模。

2.4.3。位敏得分地图

R-FCN的创新是位敏分数地图。对象分类和位置都需要 分数的地图。取位敏的分数地图支架支柱分类作为一个例子。9的9位敏得分地图对应特征位置的支柱。每一位敏RoI区域分为地图 垃圾箱,一位敏RoI池操作只有在适当的每一本分数地图:

九池反应表决通过平均投资回报率;然后,分类概率将softmax RoI输出的函数。

边界框回归是相似的,除了投票后输出4 d向量 。

每个RoI的损失函数包括叉损失分类和回归损失的位置积极的示例:

回归是一样的RPN的损失。代表了RoI的标签。 意味着,如果标签是积极的,它等于1;否则,它是0。

2.5。性能的措施

精密(P)、召回(R)、和AP算法性能评估主要定量指标深入学习,在这个实验中使用。

表示由 , ,和的数量真阳性、假阳性和假阴性,分别。然后,精度和召回计算如下:

在这里,一个边界框是否属于或取决于地面实况的借据阈值和边界框。

美联社是指平均精度,通过数值积分P-R曲线下的面积。计算结果显示如下: 在哪里和在第n个阈值的精度和召回。

3所示。结果与讨论

3.1。数据预处理

有效地探测到金属支架支撑,我们出现的外部边缘IVOCT图像,图像大小变化 来 。165 IVOCT图像,我们使用100图像作为训练集,33图片作为调整hyperparameters验证集,和32图像作为测试集。增加训练样本,我们在训练集图像旋转。沿着导管中心,生成一个新的训练集图像每一个旋转30度,最后,1200年获得的图像作为训练集(图5)。

3.2。参数设置

只有一种类型的金属支架支柱被探测到。我们把C的类别数量YOLOv3和R-FCN 1。由于规模相对较小的支架struts,锚箱应该不同于通常的。通过 - - - - - -意味着算法,九名锚箱集中在YOLOv3数据集,大小的结果 , , , , , , , , 。R-FCN比较,锚盒子是手工固定长度的{8、16、32}和{0.85、1、1.85}的比率。

在YOLOv3,我们0.1借据阈值设置为马克积极的标签,和客观性的阈值评分也设置为0.1。协调的重量和没有对象的体重的损失函数采用5和0.5的默认值。

R-FCN,积极重叠的RPN的阈值为0.7,而“R-FCN输出”的阈值为0.1,在NMS,它是0.3。

3.3。结果与讨论

测试结果如表所示1。我们比较的性能YOLOv3 R-FCN对应不同的借据边界框和地面之间的真理。随着借据阈值逐渐增加,精度,召回,美联社减少慢慢地在两种算法。当借据阈值小于0.45,所有的指标都在92.7%以上。0.4借据阈值时,他们甚至都达到95%以上。,不难发现R-FCN优于YOLOv3借据的阈值。

表1表明,YOLOv3之间的区别和在精度高于R-FCN召回。它表明,假阳性(FP)更有可能发生在YOLOv3比假阴性(FN)。例如,当借据阈值是0.4,基于R-FCN假阳性的数量只有2,但yolov3达到15个。回忆中的两种方法之间的差别仅为0.2%,但在精度为3.1%。

金属支架的例子检测结果通过YOLOv3和R-FCN在同一图像集显示更多的比较数据6和7(当 )。绿色虚线框指地面真理,和那些在红指边界盒数据。盒子是白色箭头指着的人物7指的是假阳性,而黄色箭头指假阴性。图6表明两种算法在检测金属支架表现很好。但是很容易发现YOLOv3有一些假阳性R-FCN没有在相同的图像集在图7。R-FCN有更好的性能在样本不明显的特点,其中大部分位于的地方颜色变化或支架struts是密度。

总的来说,这两个YOLOv3和R-FCN算法在检测金属支架(图表现很好6(一)- - - - - -6 (c)和数字6 (d)- - - - - -6 (f))。然而,R-FCN更好的性能在模糊样本,与内膜的增生或噪声干扰(如图像数据7(一)- - - - - -7 (c)和数字7 (d)- - - - - -7 (f))。

4所示。结论

在本文中,我们提出了两个自动金属支架的方法检测基于YOLOv3(单程)和R-FCN(两级),分别。增加数据,我们的画面旋转训练数据集,我们调整锚箱的大小,以适应小物体的检测。实验表明,两种算法表现相当好金属支架的特点是清晰还是模糊(由于内膜的增生和噪声干扰)。当地面真理和边界框的借据阈值设置为0.4,精密,召回,美联社都达到95%以上。然而,R-FCN执行比YOLOv3所有相关指标,如表所示1。R-FCN的精度达到99.3%以上时,借据阈值小于或等于0.45。未来的工作将主要集中于增加网络的复杂性,结合多个的强化学习算法进一步提高性能。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了福建省杰出青年人才培训项目(批准号ZX17033),教育和科研项目为中青年教师福建省(批准号。JT180874和JAT191153),和医生科研启动项目称意的大学,集美大学(批准号CK18013)。作者非常感谢所有匿名评论他们的宝贵意见,帮助提高文章的质量。