文摘
质量检验和缺陷检测中发挥重要作用在基础设施的安全性和完整性特别谈到老化的基础设施主要是由世界各国政府。业内普遍检查表现之一是使用摄影成像无损检测(NDT)。日益增长的需求,缺乏专家、所需技能的多样性,和特定的区域标准与检验结果的有时限的要求做自动检查紧急需要。因此,利用人工智能(AI)的基础工具作为一种辅助技术已经成为一种趋势,工业应用,自动化重复任务并提供检验操作之前和期间增加信心。大部分的工作质量评价的重点是几个类别的分类的缺陷,主要表现在公共或noncomprehensive研究数据集。在这个工作中,一个可伸缩的、高效和实时深度学习家庭10模型检测和分类各种类别的焊接特点提出了实际工业数据集。模型评估和比较,各种关键hyperparameters和组件进行优化,和当地explainability模型进行了探讨。此外,AutoAugment对象检测和利用各种技术和调查。最好的性能目标检测和分类10类模型意味着平均精度达到72.4%,排名前90.2%的准确性,分别。同时,最快的对象检测模型可以评估一个完整的15360年在0.39秒内1024像素焊缝图像。最后,该模型可部署在edge-devices执行无损检测专家助理或审计专业人员。
1。介绍
检查和评估焊接接头是至关重要的在许多行业,如海洋,航空航天,和化学,特别是在石油和天然气行业(1]。焊接接头是脆弱的部分任何工业基础设施包括管道。因此,初步焊接检查施工有着至关重要的作用在其寿命小不连续随着时间的推移可以成长为一个彻底的失败(2,3]。此外,管道失败会伤害生命在大规模和环境是一个威胁4]。此外,它是非常昂贵的维护持续检查跟踪初始缺陷的发展随着时间的推移或努力恢复时周围的环境或管道缺陷大于某个阈值(5,6]。因此,焊缝质量检验是最经济的预防方法特别是在早期阶段的建设。在不同的无损检测(NDT)技术在建筑,射线照相检测(RT),超声检测(UT)和磁测试(MT)是非常重要的。目前RT, x射线成像的焊接部分已经完成,首选是由于其技术的通用培训和准确性(7]。尽管如此,分析x射线图像耗时且乏味,但最后可能有不同的意见不同的专家,因此审计是必不可少的8]。因此,这些系统自动化是兴趣的行业对可靠性和安全性的认证产品在各个阶段的建设、审批、审计和风险评估。
近几十年来,许多研究已经进行自动化的任务使用机器人(9- - - - - -12),包括机器人平台的自动化焊接操作加速过程,减少人为错误。作为一个实例,图1显示了一个机器人数字x射线摄影斯坦利石油和天然气。机器人自主进行x射线成像,极大地减少了人工干预防止运营商接触(13]。机器人成像过程完成后,人类专家使用图像生成检查焊缝。然而,最近机器学习的迅速提高,计算机视觉,模式识别打开了新的道路提供新的解决方案,以解决关于终极挑战不连续的缺陷诊断和完整的温顺管道的生命周期2,3,8,14,15]。在下面,回顾相关研究进行焊接和缺陷诊断提供。
先前的研究与关注缺陷分析主要分为两个小的子组。前深度学习的患病率和卷积神经网络(cnn)方法在2010年代早期,程序集中在传统的图像处理方法对图像预处理和分类利用经典的机器学习方法(例如,支持向量机(SVM))和训练人工神经网络(ann)基于手工特征提取图像补丁(裁剪矩形块的大图)。在这些作品中,他们主要集中在缺陷分类和nondefect图像和分配一个标签图像补丁有或没有分割的缺陷区域。Mery和迪16用纹理特征来训练人工神经网络和最好的结果达到8%假警报。在[17应用灰度共生矩阵建立),灰度共生矩阵法()纹理特征被用于多级神经网络与86.1%的准确率和优化达到87.3%通过应用Levenberg-Marquardt优化功能(18]。类似的方法对缺陷进行分类统计和几何特性的组合和利用上流社会的滤波,阈值和形态学滤波预处理提出了(19)导致检测缺陷和nondefects精度91%和96%一百年分类的测试图像包含低对比度图像。在[20.],维纳滤波器被认为是最好的增强,因为它会导致较低的根均方误差(RMSE)与中值滤波相比,对比度增强,以及有缺陷的部分是获得使用自动阈值分割图像。最后,为特征提取,lexicographically-ordered生成图像的一维信号,和mel-frequency cepstral系数(MFCCs)和多项式系数提取功率密度谱(pds)的形象,传递给安,降低假阳性率7%。Lim艾尔。21)采用多层感知器(MLP)网络训练的模拟数据集上焊缝射线照相影像分类的补丁。
萨帕塔等人在22)使用了一个自适应基于网络的模糊推理系统(简称ANFIS)和安,几何和纹理特征选择对降低计算复杂度和准确率达到82.6%。Valavanis和Kosmopoulos23]应用特定的分类区分6类型的缺陷注释nondefect基于英国标准或标签。他们的研究的预处理步骤包括利用局部阈值,基于分割,然后几何和纹理特征作为分类器的输入像安,再(资讯),和支持向量机。在[24的综合评估,提供了类似的方法。它可以得出的结论是,古典方法需要主要特征提取和预处理增强之前预处理步骤直接影响最终的精度。
另一方面,一些研究集中在图像分割提供缺陷定位的一般理解。卡拉斯科和Mery25]提出了一种分段方法的缺陷。该方法由几个步骤组成:中值滤波、低帽过滤器,二进制的阈值和分水岭变换。结果表明93.58%的曲线下面积(AUC)十图像。在[26),滑动窗口方法用于焊接对象检测基于大量的功能。在[27),本Gharsallah和本Braiek提出一个方法来解决nonrobustness照明不均匀造成的缺陷分割,基于水平集活动轮廓引导与偏心凸起地图,一个能量函数最小化来实现分割。尽管更快的收敛性和精度高于本地图像过滤和对比度增强,减少人工干预的方法需要进一步调查发现感兴趣的区域(ROI)。在[28),缺陷分割问题是解决使用伽柏过滤和精明的边缘检测器。最近的研究,这也是评估航空焊接数据集,一部小说pixelwise分割缺陷检测系统提出了(8]。董et al。8)描述一个系统来检测焊接缺陷通过使用随机森林而不是Softmax U-net[的分类器29日]。高度相似的圆形缺陷的方法是pixelwise标签,这是航空航天工业中普遍存在。
以来的流行深卷积神经网络(DCNNs),许多作品都集中在使用这些模型特征提取和选择,而不是传统的手工特征提取和nonrobust方法。主要是两个使用DCNNs执行一般任务(即。、分类和目标检测的任务)。此外,焊缝缺陷数据集class-imbalance问题,由于焊接缺陷的数量不可能平均分配到不同的类。锄头et al。30.)关注扩展三种类型的数据集使用汽车编码器解决不平衡的问题。接下来,几个模型,包括DCNNs和其他模型根据提取的特征训练分类四个不同类型的缺陷和精度达到97.2%。Ajmi et al。31日]探索两舱(孔隙度和未焊透)焊接缺陷的分类。通过水平增加的数据镜像、翻译和RGB通道改性应用来提高模型的性能,和85.2%精度报告转移学习利用AlexNet [32)和添加一些漏失层以及修改最终层GDXray [33]。在[34),一个基于图像的实时和两阶段方法提出了一种三维激光扫描仪。窄搭接焊缝的方法执行四级分类。同时,比较经典和深度分类方法执行的平均精度为80%古典方法而深VGG-16[方法35]和ResNet50 [36),分别为97.1%和97.8%的准确率。王等人。37]提出的教程焊缝缺陷检测与实现提供基于DCNNs PyTorch [38]。这篇论文为数据采集提供了一种循序渐进的方法,预处理,和模型设计、培训和测试。
进一步调查是进行准确定位焊缝特征使用深度的方法。侯et al。14)设计了一个基于深度学习系统焊接质量评估。他们使用稀疏autoencoder (SAE)提取并使用内在特性分类3232像素焊缝补丁,最后使用滑动窗口对图像像素进行分类缺陷或nondefect。这个过程达到91%的精度GDXray [33],即使工作是一个二进制类缺陷分类和过程是费时的,因为自然的滑动窗口方法和完整的焊缝图像的大小。在[39),与24各种计算机应用的广泛实验焊接对象检测方法(包括基于滑动窗口的深度学习方法)和报告。在[40),两级探测器(即。、更快RCNN [41])的任务是使用对象检测焊缝缺陷在造船占60%的建设过程中,摄影测试用于检查焊接接头的地方。该对象检测器训练检测两个通用类型的孔隙度和缺乏融合/渣缺陷。此外,最好的结果是获得数据增加,达到53.2意味着更快的平均精度(mAP) RCNN [41与ResNet50 []36骨干。
高斯et al。42)开发了一种对比度增强条件生成对抗网络(GAN)地址的对比和class-imbalance问题。有两个独立的目标网络的工作。第一个网络接受一个71从焊缝71像素块补丁缺陷/ nondefect进行分类。确定缺陷类型,有缺陷的补丁传递到第二个分类网络。最后,滑动窗口方法用于本地化的缺陷。因此,对两级系统和滑动窗口的设计,整个系统不会执行实时高分辨率图像。在[43基于U-net),缺陷定位方法和增加使用条件GAN (cGAN) [44)提出,该方法评估GDXray数据集(33]。虽然88.4%的方法显示了AUC缺陷分割,缺乏明显的缺陷分类。Gantala和Balasubramaniam45)提出了一个自动缺陷识别模型训练总聚焦方法(TFM)成像数据集和有限元模拟数据集添加噪音和数据集的进一步扩张利用卷积gaN (DCGAN)。他们两种缺陷检测模型评估yolov4 [46),达到85平均精度(美联社)吵闹的数据集。
尽管上述相关研究论文大多采用深CNN方法在施工和焊接自动化的初步检验,研究使用深CNN无损检测方法和缺陷诊断并不局限于摄影图片和焊接施工。燕et al。47)开发深度模型增强特征提取和超声波模式识别天然气管道进行检查。该方法使用非接触式双模体波电磁声转换(EMAT)和a扫描信号来检测缺陷的解释。它利用连续小波变换(CWT)提取频率时间域特性,然后深CNN模型应用于执行高端特征提取,最后,pretrained SVM用于缺陷/ nondefect分类的信号。特征提取能力的方法是通过比较验证其他方法,包括离散小波变换(DWT)和统计特性,都是表现的CNN模型,精度达到93.75%的数据集管与人为的制造缺陷。工作执行缺陷/ nondefect分类,和缺陷类型分类调查的可能性。
除了超声波模式识别、深cnn也用于温度记录裂纹检测。在[48),胡锦涛等人探索监督温度记录视频序列金属裂纹检测和定位。工作使用涡流脉冲温度记录(ECPT) multi-physics耦合方法,检测湍流在导电材料通过分析热模式。最初,主成分分析(PCA)用于从原始数据中提取热序列组件。然后,快RCNN [41是用来对图像进行目标检测准确。最后,该方法与传统的检测方法相比,它演示了0.97检测概率,优于26%前准确的方法。实验验证了提出方法和显示显著改善自己的类型的无损检测和数据采集,展示使用CNN的优点无损检测的特征提取。而UT和温度记录方法(例如,ECPT)通常用于在线检测和维护,而不是焊接施工检查,这些方法有其局限性,如低灵敏度小的缺陷或内部裂纹检测(13]。
研究上面提到的都是实验评估要么(1)一组图像(即从一个私人数据集。,通常为实验目的)或(2)创建GDXray [33)或类似的公共和noncomprehensive集。如数据所示2和3从焊接接头,有明显的差异图像在斯坦利,GDXray数据集。首先,GDXray有限数量的样本。第二,类多样性也有限,注释和焊缝特征是基于不同的标准(33]。第三,可见性的缺陷在斯坦利缺陷相比是有限的。也就是说,在某些情况下,一个补丁包含不止一种类型的缺陷,不允许专家们指定一个标签为整个图像补丁,所有的这一切使得分类只或缺陷/ nondefect定位不符合现实世界的工业需求和标准。换句话说,non-hand-picked和多样化的实际样品的检测是一个挑战。另一方面,由于无损检测专家系统将作为助理,和有限制的硬件部署以及内处理要求,所需的可伸缩性是高效和优化利用。考虑所提到的原因,这些方法无法达到规格要求或不符合性能要求基于行业的措施。
本文旨在解决精度和推理时间权衡通过提供一套高效、可伸缩的深度模型。此外,而不是分配一个标签为每个补丁,准确的为每个不连续将取决于位置和标签。这个工作的贡献如下:(1)描述一个有效的和可伸缩的系统对象检测或长焊缝特征分类,高分辨率照相焊缝图像,这是可部署的实时无损检测专家助理,(2)演示和分析的转移增加策略在训练可以改善系统的性能检测的稀有小间断期间更容易错过手动检查和与深度学习方法难以检测,(3)深度模型的分析和尝试不同的组件,如激活函数,特征提取骨干,(4)与基线模型比较分析了模型。
本文的其余部分组织如下。在部分2和3,数据准备和提出方法的概述,分别,以及系统架构的描述。节4、测试方法、各种模型描述,和增强的方法和结果评估。最后,提出结论5。
2。数据集
数据集包含成千上万的x射线图像焊缝无损检测的目的建设初步阶段。几乎没有材料焊接结构的变化,这有助于开发一个模型关注的准确性和鲁棒性。大多数结构碳素钢。管道的直径范围从24到56英寸。然而,与36英寸和42英寸管道大多是常见的。此外,管道壁厚与X65级至少0.5英寸或更大。最后,所有管道符合API 5 l (49)的类型,尺寸,材料,年级。
焊接接头的图片有不同的分辨率取决于结构的外直径。在这个数据集,图像的分辨率大约是15360年1024像素,焊缝不连续的发生。的焊接区域仅覆盖五分之一每个焊缝图像的中心区域,图像裁剪到224年224补丁有20%的重叠。这种重叠的利益在两个方面。首先,它有助于保留缺陷躺在两个补丁一个补丁。其次,正如小缺陷转变两个连续的图像,它可以被理解为数据增加。接下来,专家注释图像基于API 1104 (50)标准。大多数没有缺陷的补丁从数据集中删除,防止网络nondefect图像。最后,图4显示了数据集的样本和表1显示了每组的分布图像。数据显示,大约75%被用作训练集(即。17872图像),10%和15%被用作dev /验证集和测试集,分别。注意收集数据集从焊接不同结构和不同的焊接设备。因此,结果获得从这个数据集可以证明提出的普遍性和健壮性解决方案广泛使用作为无损检测专家的助理。图5总结了在数据集预处理步骤。步骤详细描述部分3所示。1。
3所示。方法
解决鲁棒性、准确性和时间性能需要采用深卷积模型在生产焊接缺陷目标检测的任务。近年来,扩大图像分辨率、深度和宽度的网络,并使用一个更大的支柱被广泛用于提高性能的模型(51- - - - - -54]。然而,这种成本,在一个更大的模型中,更高的计算和推理时间51,52)以及较长的训练时间。因此,一个健壮的和高效的设计需要地址的准确性和时间性能。为了满足精度和时间,实现效率之间的权衡模型,一个家庭的单程和可伸缩的模型称为EfficientDet [52)是利用。雇佣一个复合系数,可以扩展体系结构解决之间的权衡模型的大小和模型的精度,导致模型可部署在不同的终端设备从移动设备到高性能GPU集群。
两级对象检测模型通常始于搜索感兴趣的区域(ROI)使用选择性搜索,或者在最近的设计,应用区域建议网络(rpn),然后通过图像特征提取的第二阶段,分类的盒子,和改进的边界框(执行41,55]。尽管tow-stage方法可能导致更高的准确性,第一阶段的推理时间因为负担具有重要意义在看到额外的步骤(RPN)。相比之下,单程探测器应用器“骨干”一栏,然后融合多级提取特征。最后,类/盒网络有助于提取类标签和回归的边界框。自图像只有一次通过网络传递,单程探测器执行明显快于其他方法(54]。利用pretrained脊椎,从分类任务转移到这些对象探测器用于56]。在本节中,预处理步骤,EfficientDet架构设计,增强对象检测策略以及系统体系结构实现一个精确的时间延迟较低的模型进行了讨论,分别。
3.1。系统架构
图5生成数据集描述了所需的预处理步骤,从而开始下载图像的补丁和质量验证。虽然prevalidated是云存储的图像质量,可以通过导线IQI标签,这是明显的形象图6。这一步是可选的,可以在上传图片到云存储,其时间负担从总忽视系统时间性能。最后两个步骤,亮度校正和对比15360年水准以及切片的原始1024像素图像重叠完成20%。
如图5培训描述,开始在一个按比例缩小的模型,这取决于一个系数的确定网络的深度和宽度。此外,AutoAugment期间培训执行。程序的网络设计、扩展和增加部分阐述3所示。2- - - - - -3所示。4。下一步,根据训练网络模型的类型,它预测缺陷的标签和准确位置或指定一个标签为整个补丁提供和解释的决定。最后,图5可视化显示缝合可视化的第一步。精确的切割点保存以来在切片,整幅图像的相对预测缺陷的位置是可计算的。最后,完整的DICONDE映像可以通过斯坦利可视化web或移动应用或保存为DICONDE元数据。
3.2。网络
节中描述2,最终的数据集包含23469图像补丁的大小224244像素。特征提取的图像补丁通过骨干。在这个工作中,EfficientNet [53)作为骨干特征提取的目标检测模型和分类模型。然而,对于焊接质量评估,评估不同的骨干表演和类激活地图报告。接下来,从多尺度特性的水平P3来P7通过后续的特征金字塔网络(红外系统)57]。P我表示输入激活图的分辨率是1/2我的原始输入图像。在传统红外系统,假定特性从不同尺度同样有助于最终的检测。一些作品研究特征融合的优化;例如,NAS-FPN [51上)是为了找到最佳架构跨融合通过搜索网络。然而,需要成千上万的GPU小时来寻找一个最佳的设计和生成的模型是超大号的。解决平等贡献不同尺度的融合特性,EfficientDet使用双向红外系统(BiFPN)。在BiFPN,类似于红外系统,使用自顶向下传递,和类似于PA-Net58]自下而上通过添加。尽管如此,自底向上通过增加了很多昂贵的额外重量到网络中。因此,与单一节点连接(最高和最低水平)中删除视图的贡献在特征融合优化结构。此外,一些边缘从输入到输出(类似于ResNet跳过连接(36])的添加,增加培训和准确性的过程。最后,融合功能通过两个相似的类和盒网络用于确定类标签和检测到不连续的边界框的位置。类似于骨干和BiFPN、深度类/网框缩放的一个系数。
(一)
(b)
(c)
3.3。可伸缩性
在本部分中,单一化合物比例系数的总体架构。EfficientDet家庭D0从最小的模型,以最大最深和D7,模型的数字代表单一复合系数 ,用于输入图像分辨率和规模整体架构的深度和宽度。为骨干,如果使用EfficientNet, pretrained网络应用基于之一 。图6展示了架构,它是对所有网络类似。最后一个输入图像分辨率是决定使用以下方程:
方程(2)显示通道的数量/层BiFPN缩放,在每一层是BiFPN重复块从D0如图36。最后,类的层数/箱是通过方程(3)。
3.4。数据增加
许多对象检测以及焊接质量评估深度学习方法使用数据增加以提高网络的性能和泛化(31日,40,43]。增加显示和评估的有效性在文献[59]。尽管如此,有无数的策略,如旋转,仿射、放大/缩小,翻转,等等,各种大小,以及不同可能的组合的策略用于扩充数据集。一个解决方案是搜索所有可能的找到最优的解决方案。作者在60通过面积10]调查和搜索10不同组合的分类任务。同样的,(61年)调查的有效性AutoAugmentation对象检测和提取的几套政策提高检测性能的最佳对象检测任务命名为V0-3政策。为寻找最优扩张战略是一项非常耗时的任务,提取政策应用和调查工作。为了这个目的,一个基础模型(D0 EfficientNet B0骨干)是利用训练的每一个政策,以找到最好的政策。然后,最好的政策是用来训练模型和大调查其他模型的有效参数。
3.5。评估指标
评估结果通过精密(美联社)平均指标执行。模型输出一个边界框,一个相应的类标签,每个检测和信心。检测被认为是正确的在地面实况边界框的面积和检测框至少有0.5交叉的区域联盟的两个提到的框,叫做十字路口在联盟(借据)。同时,边界框的类标签应该是相同的,这意味着
借据小于0.5,算作检测 。 也是nondetected边框的计数。因此,计算精度和召回通过以下:
查全率和查准率的一个健壮的对象探测器不改变的信心大大不同,它需要考虑多个信心阈值来评估对象探测器的性能(62年]。precision-recall曲线下的面积的定义都插值获得准确的结果通过修剪曲线,利用曲折的行为的最大精度(P插值函数( )在哪里是回忆水平和召回点大于 )在每个召回级别,而不是使用精度。的数学表示如下: 在哪里
美联社已经成为一个比较不同对象模型性能检测标准的挑战[63年]和文献[41,52,64年,65年]。
节4使用映射、模型评估(意思是美联社)(等于的意思是美联社的借据阈值从0.50到0.95和0.05步),美联社50据美联社75年(等于ap@iou = 0.75),美联社年代(s代表小和对象区域322),美联社米(m之间的媒介和区域的对象是322和96年2)和美联社l(对象区域96年2)。
4所示。实验
在本节中,各种实验设计和执行调查一组可扩展模型与快速处理时间,同时保持高精度。结果报道,除了EfficientNet骨干利用其他骨干,即MobileNetV3 [66年],ResNet50 [36),叫做Resdet50检测模型,CspResdet50 [67年],Darknet(用于Yolov3 [54])。此外,独立的对象检测模型包括Yolov3 Yolov4 [46],Yolov5 [68年],RetinaNet [65年)调整作为比较的基础。在下面几节中,k - means算法用于提取最优锚箱;分析和结果应用各种AutoAugment政策模型,训练设置和hyperparameter调优,质量评估与单个类标签,使用几个激活函数的影响,分别和脊椎都阐述了。
4.1。锚箱
类似于(57),EfficientDet使用锚箱来检测对象。默认情况下,有三个不同的方面比(0.5、1.0和2.0)。k - means聚类是用来找到一组最佳的纵横比的盒子预测网络(64年]。此外,输入图像分辨率也被认为是在优化方面比率计算。表2演示了使用由k - means比率计算方面的有效性。结果报道使用美联社的度量。新方面比率(1.2,2.14,3.8)表明,99.92%(即。,equivalent to the percentage of bounding boxes that lie into one of K-means calculated clusters) of the defects are horizontal rectangles, and optimizing helps with a 6.6% increase in AP50。
4.2。增强政策的分析
因为培训每个模型采用所有政策V0 V3很耗时间,EfficientDet-D0被认为是基本模型分析转移扩张政策如何影响特征的检测。表3培训期间展示了利用各种政策的效果,根据美联社指标。在NoAugment,原始图像是传递到网络,在Train-timeAug,使用了两种常见的训练时间对应。首先,图像翻转水平的概率为50%,第二,图片是随机大小和填充随机规模在0.1和2.0之间。同时,使用双线性插值而调整,数据集的意思是申请最后的形象是小于512时填充512像素(512512像素图像的目标图像大小D0模型)。PolicyV0-3指每个4政策中引入[61年]。以类似的方式,在培训期间使用这些政策,D0模型一组随机选择策略的政策选择的概率为66%,和输入图像增强是基于它的概率(不执行任何策略的三分之一)。此外,在边界框上执行类似的增加是否受到影响。基于表3,增强政策极大地提高网络的性能由3.8到6.9美联社。大多数政策协助网络探测(即小缺陷。据美联社年代更重要的,因为他们更容易错过在手动检查和与深度学习方法很难检测)。进行进一步调查,train-timeAug policyV3应用于图像作为他们在这些实验是最好的。图8描绘了一个样本训练一批与提到的扩增。
(一)
(b)
4.3。培训和Hyperparameter调优
模型的大小和输入图像的分辨率增加从D0 D7逐渐使用方程(1)- (3)。火车不可能所有的模型在gpu上16 GB的RAM和合适的可能批大小相对于模型的大小。模型与小系数(即。,D0 to D2) are trained on 3 NVIDIA V100 16 GB RAM GPUs with maximum possible batch size though for fitting these models in such GPU memory, a few actions are performed. First, mixed-precision training2 is applied using the Apex package which assists in decreasing memory usage and training time by utilizing half-precision weights and operations if possible. Second, as providing accurate statistics for batch normalization is crucial for the stabilized learning process and high-speed convergence, in distributed training, synchronized batch normalization is used to provide cross-device batch-norm statistics. Nonetheless, these would not help to fit D5 to D7 models in GPU. Thus, results related to those models are not reported. Finally, for comparison, several original Yolo and RetinaNet models are trained. For RetinaNet models, images are resized to 800 800像素,ResNet 50或101层作为支柱,Yolo模型意思,图像调整到640640像素。实现yolo模型可以发现在[意思68年,可以找到RetinaNet detectron2框架(69年]。
在培训期间,每通道规范化使用预先计算的平均值和标准偏差值在整个数据集上执行。同时,每个图像首先随机水平翻转和/或调整大小(即为所有实验。,Train-timeAug节中解释道3所示。4)。重初始化,最初的权重都是经过训练的女士可可数据集(52)和转换为PyTorch (70年]。因此,所有网络的初始权值训练达到最大性能类似于我们的以前的工作56]。
相同(52],余弦学习[71年使用)。初的训练过程,最初几个时代(时代数字0到5)学习速率逐渐增加到所需的点,和时代5的训练过程结束余弦形式的学习速率逐渐降低。此外,学习速率的声音应用于培训过程的30%和90%。此外,在一些实验中,指数移动平均线(EMA) [72年]重量衰变为0.9998应用;然而,它被non-EMA培训了更高的美联社。此外,一些优化器评估,结果显示在这个任务中Fusedadam73年)优化收敛速度更快,达到更高的精度(0.6地图)。在下面,不同的激活函数的影响进行了探讨。
4.4。不同的激活函数的影响
基本模型的性能(即。,EfficientDet-D0) is analyzed by testing over different activation functions, namely, Leaky Rectified Linear Unit (Leaky ReLU), Gaussian Error Linear Units (GeLU) [74年),漂亮的75年,米什76年),和硬搞同性恋的66年在乙状结肠取而代之 ,更多的内存效率,和硬米什77年]。图9(一)可视化提到激活功能。注意,指定的激活函数用于BiFPN层和类/盒预测网。如图9(b),硬漂亮和时髦的优于其他激活函数基于AP50。适用于其他AP指标相同的改进。然而,这并没有发生EfficientDet家族的更深层次的模型。因此,默认的嗖嗖声用于最大化模型的性能,尽管针对内存效率的嗖嗖声,这是一个可取的选择激活函数如果模型计划部署在hardware-constraint终端设备。non-EfficientDet家庭模型,使用默认的激活函数模型。
(一)
(b)
(c)
4.5。对象检测缺陷没有考虑类标签
在这个实验中,所有被认为与一个不连续缺陷标签。表4显示网络性能考虑单个类不连续。尽管这些模型只执行缺陷和无类标签的定位,在定位精度高。除了EfficientDet家庭,也增加了其他一些模型的比较。所有模型训练使用基本参数在原来的工作中,除了Yolov3,焦损失是首选的address类不平衡。节4.6、模型表4进行了讨论。
4.6。评估结果
表4- - - - - -6证明模型评价十级对象检测任务,十级分类,分别和缺陷/ nondefect对象检测任务。所有对象检测模型得到的结果从测试集。对所有实验中,常见的训练时间扩增和policyV3(部分中描述3所示。4应用)。虽然坚硬漂亮的浅模型的精度的改进,同样的没有发生更深(D3和更深)。因此,默认使用的模型(即激活功能。,Swish for EfficientDet models, leaky-ReLU for CspResdet50 and darkdet53, and ReLU for Resdet50). As mentioned in the tables, generally, deeper models show more accurate performance. However, little improvement or minor deterioration in larger models is a result of having to use smaller batch size to be able to fit the model into the GPUs (i.e., batch size of 20 per GPU is used to train the D0 versus batch sizes 3 and 1 for D3 and D4 models, respectively), which accounts for inaccurate estimation of statistics of batch normalization and deteriorates training process. Since for task of weld quality assessment and indexing of weld as well as rejecting or accepting, predicting 50% of the discontinuity is acceptable, AP50用于进一步的模型比较和分析。美联社l不是报道因为焊缝缺陷面积大于96吗2像素是undersampled和少见。因此,它不会是一个可靠的测量来评估模型的性能,并不是报道。
推理时间分析,类似的GPU用于训练,NVIDIA V100 16 GB,是剥削。推理次表4和6表明模型能够执行在实时性能基于定义的实时目标检测模型(78年]。结果,最快的和最精确的模型可以推断224年和150年的图像补丁每秒16批大小,分别。考虑到最坏的情况是每一个完整的焊缝图像有一个15360像素的长度和裁剪有20%的重叠,一个完整的形象将会有大约86个补丁,这意味着模型可以推断出一个图像在385到465毫秒。因此,模型能够实时处理焊缝图像所需的预处理与考虑。图10总结了模型的延迟和浮点操作(失败)。Yolo模型有更高的意思操作的数量,以及由此产生的模型更大。相比之下,EfficientDet家庭模型和模型与Bi-FPN层增强AutoAugmentation都更小、更准确。虽然EfficientDet模型有一个较小的参数的数量,他们在GPU执行速度较慢,因为慢的执行分离卷积。最后,结合Resnet50 EfficientDet对象检测架构最好结果准确性和延迟,对于这个任务。
(一)
(b)
(c)
(d)
(e)
(f)
在表中4和6以上模型报道,双线训练为了比较。在Yolo模型除了Train-timeAug意思,马赛克增大。虽然这个结果提高了0.5美联社,EfficientDet模型更准确。与大量的参数Yolo,意思他们仍然执行速度比EfficientDet模型和原因是深度方面分离运算是用于功能融合在EfficientDet GPU上运行慢。然而,由于较低的数字参数,这些模型将与竞争对手相比cpu上执行得更好。结果表4所有不连续,使用一个标签,表明部分假阳性检测相关检测正确的标签。在接下来的,错误的,错过了最好的模型检测详细阐明的。同时,特征提取的性能骨干数值和视觉上进行了探讨。
误差分析:根据表中6和推断的图像测试集,错误检测网络的最高的美联社50属于其中的一个子类:(1)由于借据不足错误检测和地面的真相:0.7%的误差情况下的测试集属于这一类,他们从3类IP,应急服务国际公司,和医生,76%的病例是ESI。图11从这个类别(c)显示了一个示例。(2)假阳性主要是与实例检测到nondefect边界框是,它密切相似的另一个缺陷类,和一个非专家的观察者可能会认为这是一个缺陷。然而,它不符合最低要求为夹渣等长度,大小孔隙度、和其他标准来计算不连续。最后,4.5%的实例躺在这一类,夹渣和哈佛商学院最大的规范化的比例错误。主要的焊缝根焊趾也被错误地预测为夹渣。图11(e)是这类的一个示例。作为一个解决方案来减少这种类型的错误率,增加大量的相似的图像补丁火车设置建议。(3)假阴性的网络不检测的缺陷。超过12%的假阴性,这组包含最大的错误的行为模式,与哈佛商学院和esi形成超过55%的规范化的假阳性检测。图11(f)是一个假阴性的样本。建议的解决方法是努力执行在线或离线的例子矿业进行训练。注意,通过降低最低信心阈值,检测到这些简洁的网络。(4)分类错误的样本是当网络检测对象和接受的借据,尽管这类标签是不正确的。一个示例如图11(d)。最后,图12(一个)显示了十级分类错误的样本的分布对象检测模型。它表明HB类最错误分类检测,而且它是错误的,类IC,相似性是IC和HB创建一个圣徒在焊根。
(一)
(b)
比较骨干:虽然是很常见的,多个不连续类型出现在一个补丁,数据集的一部分(包括每组的80%左右),图像补丁与单个缺陷类型分离和用于评估特征提取和骨干性能,并训练分类模型。表5显示性能的各种脊椎。EfficientNet-B8最准确的骨干,有90.2%的准确度对验证集。类似的培训环境和优化目标检测模型是用于此目的。转移学习应用和权重最初训练ImageNet [77年]。图12(b)显示了错误的分配行为的分类器。基于图12(b),大部分的分类错误的样本与乙肝相关。同时,错误的检测大多并被错误地归类为ISI,如图12(b)。
使用Grad-CAM Explainability: gradient-weighted类激活映射(Grad-CAMs) [79年)承认的部分输入图像与确定性的角色模型的最终决策。在Grad-CAM,而不是应用全球平均池结束层(80年)需要模型修改和影响网络性能,利用反向传播提取特征的贡献。因此,类激活地图得到精确提取。在图7,不同深度的脊椎Grad-CAMs可视化,它提供了本地explainability输入图像。底部的图像每个单元格显示最后一层Grad-CAM,和上层图像从最后倒数第二和第三块输出。它显示了网络逐渐参加每个图像的区别的特征。
5。结论
在这篇文章中,一个可伸缩的、高效的家庭深十级焊缝质量评估使用对象模型检测算法。对各种模型也进行比较分析;等重要元素的网络激活函数和hyperparameters探索和优化实现先进的结果数据集。此外,受访对象检测AutoAugment政策转移的影响。此外,只考虑任务等各种场景分类任务和缺陷/ nondefect场景也分析和模型是相对于主流目标检测模型在实时应用程序。最后,通过采用Grad-CAM和可视化模型分析了视觉explainability目标类的梯度信息。结果解释。他们表明,模型能够推断出一个完整的焊接接头(153601024年385毫秒分辨率x射线图像)。尽管分类任务优于对象检测模型,定位的缺陷(缺陷是否在根部焊道,填充,或通过封面)有必要进一步焊缝的索引,通过或拒绝,和优化焊接操作。
传统的计算机视觉技术对焊缝缺陷检测需要几个关键的预处理步骤导致nonrobust结果或人工干预是必要的。相比之下,自动特征提取方法和基于深度学习方法需要最低人工干预或预处理达到最先进的成果。本文提供的模型可以作为辅助缺陷识别系统,以促进强劲的缺陷定位和分类和减少人类工作负载和错误。最后,正如专家可能相互冲突和个人表现特定的缺陷检测,提供深度模型可能对特定样本训练和预测缺陷的统一标准,也可以帮助培训专家。
未来工作包含测试时间增加,模型整体不牺牲系统的实时性能,寻找最优的汽车增加政策以来利用强化学习政策最初从可可中提取数据集和焊缝图像的性质并不符合可可图像数据集的性质。此外,通过时间,将聚集更多的样本来自世界不同地区的各种网站,和数据集将扩大在类的数量和每一个类实例的数量。
数据可用性
本文中使用的所有开源实现是本文的主体中引用。然而,其余的实现和数据集是一个正在进行的研究的一部分,史丹利百得公司的专有,美国。
的利益冲突
作者宣称没有利益冲突有关这项研究的出版物。
确认
这工作主要是帮助和支持从迈克尔·乔治,杰里米·Guretzki马修·纳尔逊·杰森·米勒,威廉•阿斯顿杰克史密斯Haresh Ghansyam,皮特·莫里斯,塞拉Tirumalaseti,亚当•韦恩休斯和王暴增以及大力支持从马克•梅普里博士和Manish梅塔博士办公室的首席技术官在斯坦利黑色和德克尔。拉马尔大学进行了这项研究,完全由人工智能实验室,斯坦利石油&天然气,美国史丹利百得。